[docker][nvidia-smi]GPUが複数ある場合にそれらを並列に使用することはできますか？

Question

dockerのコンテナ上で機械学習の処理をさせたいのですが、とても時間がかかってしまいます。
なんとか時間を短縮したいと考えていたところ、使用可能なGPUが３つに対して、１つしか使われないことがわかりました。この使われてないGPUも使えれば、効率良くなるかもと考えています。
こういったことは可能でしょうか？もし可能であれば、やり方を教えてください！

↑３つGPUがあるうち１つしか使われていません。他の２つにも処理を分散させたいです。
よろしくお願いします。

ちなみにこちらを試そうと思ったのですが、
envで環境変数を調べたところ、すでに全てのGPUが指定されるようになっていました。

NVIDIA_VISIBLE_DEVICES=all

Comments

[hoshi-takanori]

tf.distribute.MirroredStrategy は試しましたか？
https://book-read-yoshi.hatenablog.com/entry/2021/03/20/TensorFlow_multi_gpu

[tetsutail_study]

試してないです。情報ありがとうございます。
gitから落としてきた複数のファイルに渡るコードを試していて、まだ全体を把握できていないので、コードの改変は理解が進んでから行おうと思います！