torch._C._cuda_init() RuntimeError: CUDA error: out of memory

Question

前提・実現したいこと

python3.8
RTX 3060
cuda11.0
torch 1.10.0+cu113
torchaudio 0.10.0+cu113
torchvision 0.11.1+cu113を使用しています。
torchに関しましては以前、cuda11.0に合わせて1.7.1を使おうとしましたがエラーが出ていたので上記のものを使用しています。

下記のようなエラーが発生したのですがなぜこのようなエラーが起きてしまうのでしょうか。
申し訳ございませんがよろしくお願い致します。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "/program/main/main1_EN.py", line 597, in <module>
    main()
  File "/program/main/main1_EN.py", line 592, in main
    m.process()
  File "/main/main1_EN.py", line 136, in process
    model.cuda()
  File "/.local/lib/python3.8/site-packages/torch/nn/modules/module.py", line 680, in cuda
    return self._apply(lambda t: t.cuda(device))
  File "/.local/lib/python3.8/site-packages/torch/nn/modules/module.py", line 570, in _apply
    module._apply(fn)
  File "/.local/lib/python3.8/site-packages/torch/nn/modules/module.py", line 570, in _apply
    module._apply(fn)
  File /.local/lib/python3.8/site-packages/torch/nn/modules/module.py", line 570, in _apply
    module._apply(fn)
  File "/.local/lib/python3.8/site-packages/torch/nn/modules/module.py", line 593, in _apply
    param_applied = fn(param)
  File "/.local/lib/python3.8/site-packages/torch/nn/modules/module.py", line 680, in <lambda>
    return self._apply(lambda t: t.cuda(device))
  File "/.local/lib/python3.8/site-packages/torch/cuda/__init__.py", line 214, in _lazy_init
    torch._C._cuda_init()
RuntimeError: CUDA error: out of memory

Answer 1

CUDA error: out of memory なので、単純に GPU のメモリが不足しています。
バッチサイズをエラーがでなくなるまで小さい値にしてみてください。

Comments

[reiya_123]

ご返信ありがとうございます。
また、度々申し訳ございません。
こちらが正しい位置なのか自信がないのですが
.local/lib/python3.8/site-packages/torch/utils/data/dataloader_experimental.pyを見たところ、下記のようにバッチサイズが1となっていました。
申し訳ございませんがご教示いただけますでしょうか。
class DataLoader2:
def __new__(cls,
dataset,
batch_size=1,

[tiitoi]

それはデフォルト値です。DataLorderを作成するときにバッチサイズを設定していませんか？質問欄に学習のコードを貼っていただけますか？

[reiya_123]

ご返信ありがとうございます。
>DataLorderを作成するとき
class DataLoaderをお見せすればよいでしょうか。
お手数お掛けして申し訳ございません。

また、今回はこちらのpytorch yolov3を実装しています。
https://github.com/ayooshkathuria/pytorch-yolo-v3/blob/master/cam_demo.py

[tiitoi]

すでにbatchsize=1になっていますね
RTX3060は12GBメモリあったはずなので足りるはずですが、なぜメモリ不足になるのかはすいませんがわからないです

[tiitoi]

https://pystyle.info/pytorch-yolov3-how-to-use-pretrained-model/

[reiya_123]

ありがとうございます。
おそらくですが、動画としてこちら（下記のコード）のbagファイルを使っていまして、それがgpuの30％ほど占めています。また、yoloを通すとgpuの60％ほど占めてしまいます。
それ以外も、imagecaptioningなどを組み込んでいるためメモリ不足となっているのかもしれないです。

config.enable_device_from_file('/media/limlab/48A9A14C31288186/12_2_thu.bag',repeat_playback=False)

[tiitoi]

全体のシステムがどうなってるのか詳しくはわからないですが、メモリが足りないのは、メモリ使用量削減する以外どうしようもないです