CNN学習時のエラー「Allocation of 536870912 exceeds 10% of system memory.」について

前提・実現したいこと

pythonでautoencoderを使った機械学習を試しています。
その際下記のように、エラーが４行ほど出てきた後に学習が始まるのですが、このエラーを無視した状態で学習を進めて正常にな結果は望めるのでしょうか。
エラー内容は、調べたところメモリ不足らしいのですが、それを無視して学習は強行されるものなのでしょうか。
また、学習パラメータは256x256の画像を1000枚、バッチサイズ64で実行しています。Total paramsは48003でした。pcの搭載メモリは8GBです。バッチサイズを32に落とせばエラーは出ないのですが、1000枚の画像に対して32のバッチサイズは適切なのでしょうか。

発生している問題・エラーメッセージ

Epoch 1/30
2020-07-31 22:31:51.759254: W tensorflow/core/framework/cpu_allocator_impl.cc:81] Allocation of 536870912 exceeds 10% of system memory.
2020-07-31 22:31:52.847797: W tensorflow/core/framework/cpu_allocator_impl.cc:81] Allocation of 536870912 exceeds 10% of system memory.
2020-07-31 22:31:53.305529: W tensorflow/core/framework/cpu_allocator_impl.cc:81] Allocation of 536870912 exceeds 10% of system memory.
2020-07-31 22:31:57.743346: W tensorflow/core/framework/cpu_allocator_impl.cc:81] Allocation of 536870912 exceeds 10% of system memory.
2020-07-31 22:32:01.507355: W tensorflow/core/framework/cpu_allocator_impl.cc:81] Allocation of 536870912 exceeds 10% of system memory.
 128/1000 [==>...........................] - ETA: 4:48 - loss: 1.0092

該当のソースコード

ソースコード

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

行動規範の内容に同意します

回答1件

ベストアンサー

体感的にバッチサイズは大きければ大きいほどゆらぎが少なくなり結果が良くなるように私は感じています。しかし、表示されているワーニングメッセージの意味することは、「GPUのメモリを全て使い切っているうえに、データがGPUに収まらないからPC本体のRAMをたくさん消費しているよ。」というニュアンスです。下図は私のPCに搭載されている GPU GTX1070 の搭載RAMの消費状況と PCのRAM の消費状況ですが、 GPUは8119MB中262MB を使用しています。トレーニング実施時には 8000MB ほどまで消費量が上昇することは普通にありますが、消費量が大きくなるとPCのRAMとGPUのRAMの間でのデータの転送に時間が掛かるようになり学習時間が長くなる傾向があります。GPUのRAMをオーバーフローした状態でもトレーニングは正常に終わりますが、PC側のRAMとSWAP領域を全て使い切ると Out of Memory というエラーが表示されて学習が中断してしまいます。メモリの使用状況をしばらくウォッチして、 PCのRAM＋SWAPとGPUのRAMを全て使い切らない程度にバッチサイズを調整したほうが良いと思います。ご参考になれば幸いです。