keras-yolo3 学習時にGPUが３％しか使われない

Question

keras-yolo3で画像認識を行いたいです。

tensorflow_gpu 1.14.0をインストールしGPUが認識されていることを以下のコマンドで確認

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

[name: "/device:CPU:0"
device_type: "CPU"
memory_limit: 268435456
locality {
}
incarnation: 13425312240760914474
, name: "/device:GPU:0"
device_type: "GPU"
memory_limit: 4838588416
locality {
  bus_id: 1
  links {
  }
}
incarnation: 7886438113299407581
physical_device_desc: "device: 0, name: GeForce RTX 2060, pci bus id: 0000:01:00.0, compute capability: 7.5"
]

その後、yolo3で学習を開始したのですが
タスクマネージャーを見ると、GPUが３％程度しか使用されていません。

GPUの使用率を上げるには、どのようにすればよいでしょうか。

Answer 1

まず、Tensorflow のバージョンと GPUを利用するために必要なライブラリ CUDA の組み合わせが一致していないと正しくGPUが利用されません。 標準的な使い方ですと Tensorflow v1.14.0 は CUDA 10.0 の組み合わせでしか動作しない仕組みです。

• Tensorflow と CUDA のバージョンの組み合わせ一覧

バージョン一覧公式URL

下記のコマンドを実行し、CUDAのバージョン番号を調べてみてください。

$ nvcc -V

私の手元の環境では下図のように表示されました。

私の環境のCUDAは 10.1 ですので、 tensorflow-gpu==1.14.0 を導入した場合は正しくGPUが利用されません。ちなみに tensorflow-gpu==1.15.0 は対応表に記載がありませんが、公式サイトからは CUDA10.0 でしか動作しないインストーラしか提供されていませんので私の環境ではGPUが利用されません。

お使いの環境に関する記載がありませんので意味のある情報提供になるかどうかわかりませんが、念の為Linux環境かつCUDA10.1環境で正しくGPUが使用される tensorflow-gpu==1.15.2 の私お手製インストーラを共有しておきます。
CUDA 10.1 に対応させた tensorflow-gpu v1.15.2 のインストーラのダウンロードリンク

まずはお手元の環境の CUDA のバージョンを調べ、使いたいTensorflowのバージョンとCUDAのバージョンを合わせる必要があります。いずれの組み合わせにせよ、私のように Tensorflow を自力でビルドすれば対応表に無い組み合わせを作ることは可能ですが難易度が少しだけ高いです。