機械学習の推論を同時並行で行う方法について

Question

機械学習の推論を、ひとつのPC上で複数同時に行う場合、どのような方法が考えられますでしょうか。

下記の記事では、Jetson上でコンテナ型仮想環境を複数立ち上げることで、同時に実行しています。
私も似たようなことをしようとしているのですが、他にも良い方法があるのでしょうか。

https://robotstart.info/2020/05/15/jetson-xavier-nx-review-01.html

Answer 1

GPU を使うディープラーニングかどうかにもよります。
CPU で実行するのであれば、マルチスレッドで実行すれば、並列実行できます。
GPU で実行するディープラーニングの場合、1枚の GPU で実行できる処理は1つなので、並列実行するのであれば、その枚数分 GPU が入ります。

追記

GPU メモリに余裕があれば、コンテナ化で各コンテナで1つずつ処理を実行することで実質並列化できますね。なので、Jetson なら質問のアプローチでいいと思います。

Comments

[messon]

ご回答、誠にありがとうございます。
誤って、新規回答で追加の質問を投稿してしまいました、、。

[tiitoi]

推論を実行されてるのは raspberry pi 4 でしょうか？
raspberry pi 4 は GPU がそもそも載ってないので、実行できているのだとしたら、CPU 実行です。
(追記: スペック表を見たら、GPU はあるようですが、Nvidia の GPU ではないので、CPU 実行になっていると思います。)

[messon]

回答が遅くなりまして申し訳ありません。
おっしゃるとおり、推論に使うのはRaspberryPiです。
重ねてのご説明、誠にありがとうございました。
RaspberryPiのGPUを推論に使うのは難しそうですね。

Answer 2

早速のご回答、ありがとうございます。

重ねての質問で恐縮ですが、
GPUを使用している処理か否か、どのように判断するのがよろしいでしょうか。

現在raspberry pi 4で、下記コードを使用して物体検出の推論を行っています。
https://github.com/neuralassembly/Tensorflow-YOLOv3

GPUの使用状況を監視する方法を考えましたが、raspberry piで使えるソフトが見当たらず、、。

ちなみに学習はGoogleColaborateryのGPUで行っております。