動的計算グラフと構築後の変更が不可能な計算グラフは何？

Question

##お願い
動的計算グラフ と 固定的な計算グラフ(構築後の変更が不可能な計算グラフ)
について解釈いただければ幸いと思います。

【 主にここで『動的』とはどういうことをご説明いただければと思います。
それから、動的に"良い"としたら、
どうして超有名なTensorFlowはあえて『静的・固定的』にされているのでしょうか】

##複数ネット文章の断片的な摘要(参照まで)

【Chainerのメリット】
Chainerが動的計算グラフの主要なニューラルネットワークフレームワークであり、
様々な長さの入力が可能なネットワークであったため、自然言語処理作業には人気の高い機能です。
独自のベンチマークを使い、Chainerは他のPython向けフレームワークよりも素早く、
MxNetとCNTKを含めた最も遅いテストグループであるTensorFlowを備えています。

【TensorFlowのデメリット】(TensorFlowのメリットもいっぱい)
●計算グラフ構築後の変更が不可能
●今回紹介した中で一番とっつきづらい。（慣れが必要）

計算グラフの構築後、変更ができない点はデメリットです。
一旦構築したものを変更しないため、コンパイルをすることで計算を高速に動作させられることが期待できますが、
なんか速度面は他のフレームワークもかなり頑張っているせいで、デメリットが大きく目立っています。
実際、ニューラルネットを学習させる際に、
ニューラルネットの外であれこれ処理をやる必要がある場合には、
単にPythonで動作するChainerやPytorchの方が便利ですし、
その処理結果次第でニューラルネットの構造を変更する必要がある場合は、
事実上TensorFlowではそれが不可能です。

Answer 1

define-by-runとdefine-and-runの話かと思いますが、
おっしゃるようにdefine-and-runの方が速いというのがtensorflowの意図でした。

しっかりしたグラフは実行時に変更されないのでtensorflowはそれについて不満はありませんでした。

またtensorboardのようにグラフが先に定義されるのであれば、可視化しやすく、
コードと同じようにコンパイル言語はグラフを構築する際にエラーを検知できることが利点です。

またおっしゃるように、今のフレームワークはどれも速く、特にpythonラッパーの使用者はスクリプト言語よりの思考回路をしているためdefine-by-runの方の需要も高まっています。

このような需要を反映して、
TensorflowにはEagerモードが追加されて動的にグラフを生成できるようになりました。

使用したければ最新版のtensorflowの導入を検討してみてください。

Comments

[leilei]

mkgrei様
ご解説ありがとうございます。
＞TensorflowにはEagerモードが追加されて動的にグラフを生成できるようになりました。
そうですか。さすが！
情報ありがとうございます。