PytorchでGPUメモリが使われず実行に失敗する

Question

前提

Pytorchにて画像分類用の事前学習モデルの学習をおこなっています．
環境はDockerで構築しており，複数のPCで同じコンテナを用いて学習しています(CUDAは11.3)．

発生している問題

全く同じプログラムを複数台のPCで動かしているのですが，RTX3060(VRAM=8GB)のマシンでは問題なく動くプログラムが，RTX3080Ti(VRAM=12GB)のマシンではメモリ不足で実行に失敗します．
バッチサイズを小さくすると(256→128)一応動きますが，GPUメモリが4GBも大きい方のマシンでメモリ不足になる理由が分かりません．
タスクマネージャで監視してみるといつも5.5GB/12.0GBあたりで止まってしまっています．
原因がDockerにあるのかPytorch側にあるのか，それともそれ以外の要因があるのかご教示ください．

発生している問題・エラーメッセージ

THCudaCheck FAIL file=../aten/src/THC/THCCachingHostAllocator.cpp line=278 error=2 : out of memory
~~~
Killed

Comments

[meg_]

メモリ容量はそれぞれのマシンでどうなっていますか？

[momendoufu]

正常に実行できるRTX3060側のRAMは学習中で11.1/32GB使用，VRAMは4.3/8.0GB使用しています(ただし学習の立ち上がり時は7.7/8.0GBあたりまで上昇)．メモリ不足になるRTX3080Ti側のRAMは7.7/16GB使用，VRAMは4.3/12.0GB使用ですがメモリ不足になるバッチサイズの学習時は5.5GBほどまで上昇して停止してしまいます．
CPU側のメモリとしては上記の通りVRAM容量と反比例する形で3080Ti側のほうが少なくなっています．

[knuser1]

VRAMでなく、RAMのメモリが不足している状況なのですかね。

Dockerのリソース割当てはどうなっている状況でしょうか。対処療法的ですが、例えばDocker Desktopなどであれば、Dockerに割り当てるメモリを増加させるなどはどうでしょうか（7.7/16GBということで、メモリに余裕はあるという想定ですが）。

- https://docs.docker.com/desktop/settings/windows/#resources

[momendoufu]

メモリ割り当て上限を増やしたら無事動きました！
ありがとうございました．

Answer 1

いただいたコメントを参考にDockerの.wslconfigにてメモリ上限を引き上げるよう設定したところ(8GB→12GB)無事大きなバッチサイズでも学習が実行できるようになりました．
VRAMだけでなくCPU側のメモリもボトルネックになることが知れて勉強になりました．
@meg_さんおよび@knuser1さんコメントくださりありがとうございました．