DNNの訓練結果を如何に他の装置で利用するのでしょうか

Question

最近この掲示板の皆さんのお陰で、ようやくDNNの入り口の処にたどり着いた。
さて、例えば、WindowsのPCでトレーニングして、DNNの構造やパラメータを得た後、
当然応用のためのPC例えば組み込み装置や他のOSのPCに利用したいわけですね。
そうでしょ、だって、DNNの訓練結果はどのOSや装置にも独立している情報だから、
同じ認識対象に対して別々にDNN設計とトレーニング必要はないはずです。

注：ここで言う「DNNの訓練結果」とは、例えば、
１．DNNの層数
２．各層においてのUNIT数
３．DNNの連結重みパラメータ値(これこそ訓練で得たデータ)
４．各層の最適activation関数 (これも自動に決められます？)

このような訓練結果データの移転手法はあるのでしょうか。
例えば、Pythonや tesorFlowはこんなspecial関数を提供してくれるのでしょうか。
(自分がやらず、既成の特化関数があるかどうかという質問です。

Answer 1

https://qiita.com/supersaiakujin/items/fc400fc6fa58b3809619
https://www.tensorflow.org/programmers_guide/saved_model

ネットワークは２つの要素から成り立っています。
①ネットワークの構造（層の数、ノードの数、活性化関数の種類）
②重み係数

その２つを、別々に保存することもできますし、一緒に保存することもできます。

---

ダイエット。
https://qiita.com/hnakagawa/items/300e50134b03fb3e0350
https://www.tensorflow.org/mobile/tflite/

Answer 2

例えばTensorFloWはグラフとパラメータ(重み、バイアス)さえあれば、Pythonを使ってトレーニングした結果をC++やJavaなどから利用できます。またそのために各言語用のAPIが用意されていますよ。

また、計算リソースを減らしてFPGAで利用するものもあったりします。読んでませんが、例えばこんなの。

https://www.slideshare.net/mobile/HirokiNakahara1/cnn-on-fpgagpu

あとで追記します。

---

追記

TensorFlowに関する知識は初心者レベルなので、ドキュメントから読み取れる部分でお答えします。

TensorFlowのドキュメントには次のようにSavedModelを介して、言語に依存しないモデルのexport/importを行えるようにしているようです。ここで言うモデルとは、計算順序を示すグラフとパラメータです。

When you want to save and load variables, the graph, and the graph's metadata--basically, when you want to save or restore your model--we recommend using SavedModel. SavedModel is a language-neutral, recoverable, hermetic serialization format. SavedModel enables higher-level systems and tools to produce, consume, and transform TensorFlow models. TensorFlow provides several mechanisms for interacting with SavedModel, including tf.saved_model APIs, Estimator APIs and a CLI.

Google翻訳

変数、グラフ、およびグラフのメタデータを保存してロードする場合（基本的に、モデルを保存または復元する場合）、SavedModelを使用することをお勧めします。 SavedModelは、言語に依存しない、回復可能なハーメチックなシリアル化形式です。 SavedModelを使用すると、より高いレベルのシステムとツールでTensorFlowモデルを作成、使用、変換することができます。 TensorFlowには、tf.saved_model API、Estimator API、およびCLIなど、SavedModelとやりとりするためのいくつかのメカニズムが用意されています。

https://www.tensorflow.org/programmers_guide/saved_model#overview_of_saving_and_restoring_models

それから例としてあげて下さった項目について、

注：ここで言う「DNNの訓練結果」とは、例えば、
１．DNNの層数
２．各層においてのUNIT数
３．DNNの連結重みパラメータ値(これこそ訓練で得たデータ)
４．各層の最適activation関数 (これも自動に決められます？)

1,2はグラフに相当します。
3がパラメータ情報ですね。
4はこちらが指定するもで、一般的にはいくつか実験的に試して最適なものを探索する必要があります。

また、これらは何もTensorFlow特有のものではなく、Caffe(Python <-> C++)などにもあるはずです（使ったことないですが）。
その他に、Caffeのトレーニング結果をChainerに変換して使う場合もあります。違うライブラリの間での変換に相当します。

Comments

[leilei]

dkato0077さま
お世話になっております。
TensorFloWは凄いですね。
違う言語同士あるいは異なるOS同士間がどうやってDNNの練習結果を交流するのでしょうか。通信？
①　純粋なパラメータファイルが生成され、我々自身で自分のDNNプログラムに読み込む；
②　C++/JAVAのソースコードを自動生成して、パラメータの訓練結果(具現化された数値)をソースコードに埋め込んで出力してくれるーーーTEST用のパラメータ具現化したDNNが自動生成されるわけ。
①と③のどっちでしょうか。
それとも全部間違っています？
どうぞ宜しくお願いします。

[退会済みユーザー]

概ね①でいいと思いますが、パラメータファイルは自分で保存する必要があります。ソースコードの自動生成はやってくれないです。

[leilei]

皆さん親切なご指導有難うございました！