【機械学習】Tensorflow-gpuでGPU使用率を100%にできる？

Question

tensorflow-gpuで機械学習を行っており，学習の際にはPCのリソースを出来るだけ使用してなるべく高速な学習を行いたいのですが，GPUの使用率を見ると40%程度に収まっています．
これは，なにか制限がかかっているのでしょうか？
どういった理由で100%にならないのか，気になります．

Answer 1

どういった理由で100%にならないのか，気になります．

コードがないのでわかりませんが、考えられる理由として
データを読みこんでミニバッチを作成するのは CPU で行われるので、

(1) データ読み込み → GPU 演算 → データ読み込み → GPU 演算

のように直列の処理になっている場合、または

(2) データ読み込みと GPU 演算は並列に行うようになっているが、データ読み込みのほうが GPU 演算の時間より長い場合

は、GPU が待機している時間があるので、使用率は100%にはなりません。
とくにマルチスレッド化とかしていないなら、(1) のようになっており、GPU がデータの供給を待機している時間があるのではないでしょうか。