Python 大量の画像ファイルの読み込み中、メモリ不足になる

Question

前提・実現したいこと

Python初心者です。
気か学習のyoutube見て、Pythonを使って画像認識ができるということを知り、オリジナルの画像分類を作ろうと考えています。
youtubeに記載していたコードをそのまま利用し、画像を4万枚ほど集めて実行したところメモリ不足になり途中で落ちます。

再び実行し、タスクマネージャーでメモリを確認したところ2000MB以上利用しており、そのまま落ちました。

ソースコード➀では画像をリスト配列に格納していましたが、numpy配列を利用することでメモリ不足を解決できると記事を読み、➁のプログラムを作りましたが、読み込み速度が➀に比べ遅くなりメモリの消費量が多く使えたものではありませんでした。

これを解決する方法ご存じの方、ご教授お願い致します。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

ソースコード

➀
import tensorflow as tf
import glob
from tqdm import tqdm 

x_train= []
x_test=[]
y_train=[]
y_test=[]


for f in tqdm(glob.glob("D:/画像判定/対象/*/*/*.jpg")):
    img_data=tf.io.read_file(f)
    img_data=tf.io.decode_jpeg(img_data)
    img_data=tf.image.resize(img_data,[240,240])
    
    if f.split("\")[1]=="train":
        x_train=x_train.append(img_data)
        y_train=y_train.append(int(f.split("\")[2].split("_")[0]))
    elif f.split("\")[1]=="Test":
        x_test=x_train.append(img_data)
        y_test=y_train.append(int(f.split("\")[2].split("_")[0]))

➁
x_train= np.empty((0,240,240,3))
x_test=np.empty((0,240,240,3))
y_train=np.empty((0),int)
y_test=np.empty((0),int)


for f in tqdm(glob.glob("D:/画像判定/対象/*/*/*.jpg")):
    img_data=tf.io.read_file(f)
    img_data=tf.io.decode_jpeg(img_data)
    img_data=np.expand_dims(img_data,axis=0)
    if f.split("\")[1]=="train":
        category=np.expand_dims(np.array(int(f.split("\")[2].split("_")[0])),axis=0)
        x_train=np.append(x_train, img_data,axis=0)
        Y_train=np.append(y_train, category,axis=0)
    elif f.split("\")[1]=="Test":
        category=np.expand_dims(np.array(int(f.split("\")[2].split("_")[0])),axis=0)
        x_test=np.append(x_test, img_data,axis=0)
        y_test=np.append(y_test, category,axis=0)

試したこと

ここに問題に対して試したことを記載してください。
画像をリスト配列ではなくnumpy配列に格納するコードに修正

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[hentaiman]

メモリ追加

[BeatStar]

メモリ増設しかないかと。それか他の方も仰っているように「小さい画像を使う」とかか。
メモリ上に配置している以上、メモリが足りなくなるのは当たり前です。
なので、メモリ増設しかないかと。(それでも足りなくなるとは思うが)

[HRCo4]

データセットの定義の段階では BATCHxWxHxCH の空配列を用意してメモリを確保しておき、バッチ毎でそこに画像をロードすればよいのではないかと。
ただしこの場合、バッチ毎で画像ロードやら正規化やらの前処理が入るのでその分時間がかかります。

Answer 1

>>> (240 * 240 * 50000) / 1e6
2880.0

240 × 240 のモノクロ8ビット画像5000枚のメモリは単純計算して2880MByteです。
実際には、リサイズ前の画像やらモデルが使う画像やらもあります。

もっと小さな画像にしましょう。

メモリを増設すべきとにコメントが付いているようですね。

NNの学習で必要なGPUメモリを算出するの記事を参考にすると、

224×224の画像を処理するモデルが必要とするメモリは、約2391971436バイト、つまり約2.4GByteです。これと別に入力データ用のメモリが必要で、それは最初に書いたように約2.9GByteです。しかしそれらを動かすためにPythonもメモリを使っていますし、読み込んだ縮小前の画像もメモリを使っていますので、8GByteでは厳しいでしょう。
メモリを16BByteにすれば何とかなりそうですが、やってみないとわからないですね。