tensflowでGPUがうまく使えない

Question

tensflowでGPUを使って機械学習をしているのですが、CPUよりもスピードが出ません
GPU使用率が８％前後しか出なくて困っています
どのようにすればよいでしょうか？
GPUはGTX1080が2つです

Answer 1

tensorflowをGPUにしたからといって劇的に学習速度が向上するわけではありません。感覚的には10%くらいです。特にちまたに広がっている学習コード(for文て繰り返すタイプ)だと、CPUとGPUの切り替えがオーバーヘッドになるようです。
GPUの使用率が低いのはGPU側の処理が早すぎてCPU側の処理が追いつかないため、アイドル状態が発生しているためと思います。

実際のところは、コードをみないとわからないのですが、参考にしてください。

Comments

[OOZAWA]

横から失礼
＞tensorflowをGPUにしたからといって劇的に学習速度が向上するわけではありません。感覚的には10%くらいです。
意外で悲しい。。。自分がtensorflowの並列性(GPUを透過的に活せる)に優れる事に期待しておりますが、これじゃだめですね。　:-_-;

[R.Shigemori]

oozawaさん
結構コード依存と思います。
以前、1000万件のnumpyのarrayに対するsigmoid関数の計算を1000件単位で1万回繰り返すケースと1万件を1000回繰り返すケースで、CPU(numpy)とGPU(cupy)で比較実験しました。結果は、後者は圧倒的にGPUが速いのですが前者はCPUが速いというものでした。ここからCPUに展開されているarrayをGPUに引き渡す処理のオーバーヘッドが大きいと推察しました。つまり、GPUの性能を引き出すには1000万件のデータを始めからGPU上に展開する必要がありそうだということです。
加えていうと、pythonのfor文は遅いので、学習回数の制御もtensorflowの関数を使ったほうがいいかと思います。