計算グラフのメリットとデメリットに関する混乱

Question

TensorFlowは計算グラフで処理の並列性を事前に総合分析ができ、能率良く並列化(GPUの利用)ができるようになる、と同時に、計算グラフは遅延評価でもあり(個人感覚)、いっそう処理能率よくなって、実行速度が速い(はず)。。。。

ところが、現実にTensorFlowの実行速度が他のDNN libに負けているうわさが良くあります。
そして計算グラフのせいだそうです。

なんといっても多くのLIBは計算グラフというやりかたを取っていないようですね。
いったい計算グラフで本当に実行能率をよくすることができるかどうか、
あるいは計算グラフは本当に必要かどうか？ご教授お願いしたいのです。