pythonでPILを使って読み込んだ画像データをnumpyのデータに何度も変換するとメモリが足りなくなる

Question

1GB分の複数のjpg画像を使って繰り返し処理をするプログラムを作っています。
処理はnumpyで行うのですが、1GB分すべてをndarrayに変換すると20GB近く膨れるのでメモリに乗りません。
なので、PILを使って1GB分をImageデータとして読み込んでおき、そこから必要な分だけをnumpyデータに逐一変換する方法をとりました。
しかし、繰り返しその処理を行うとなぜかpythonがメモリを占領していきます。
使用したndarrayをdelしても変わりません。これはなぜなのでしょうか？

以下に行ったプログラムの簡単に記述しました。これを実行するとどんどん使用メモリが増えていきます。
ループを数えたところだいたい150順ぐらいで12GBを超えました。
画像はすべて10MBくらいで大きな差はありません。
hoge関数を消しても相変わらずメモリは増えるのでnumpyの変換が原因なのかと思います。

# 1GB分の画像データをPILで読み込みリストに入れる
pil_img_list = [Image.open(name) for name in img_name_list]

# 繰り返し操作
while True:
    # ランダムに画像を選択してndarrayに変換する
    random_index = np.random.randint(0, len(pil_img_list))
    numpy_data = np.array(pil_img_list[random_index])

    # 何かしらの操作
    hoge(numpy_data)

    # 一応試した変数削除
　　print("numpy_data" in globals()) # True
    del numpy_data
　　gc.collect()
    print("numpy_data" in globals()) # False

環境の容量の関係上あらかじめndarrayを用意することができません。
上記に似た方法で処理を行いたいと思っています、ぜひ解決策をご教示願います。

環境
・windows10, Pycharm:2019.2.3, python3.7, Pillow:6.1.0, numpy:1.16.4
・Colaboratory, Pillow:4.3.0, numpy:1.17.3

メモリに関しては知識不足で詳細にお答えすることができません。
windowsではタスクマネージャーのパフォーマンスでメモリの使用量が増えることを確認し、
Colaboratoryでは12GのRAMのすべてを使用したためクラッシュしました。

--- 解決 ---
PILオブジェクトを定期的に読み込むことで解決しました。

# 繰り返し操作
while True:
    # 1GB分の画像データをPILで読み込みリストに入れる
    pil_img_list = [Image.open(name) for name in img_name_list]

    # あらかじめ確認したメモリリークしない100周を回す
    for i in range(100):
        # ランダムに画像を選択してndarrayに変換する
        random_index = np.random.randint(0, len(pil_img_list))
        numpy_data = np.array(pil_img_list[random_index])

        # 何かしらの操作
        hoge(numpy_data)

Comments

[meg_]

・「使用したndarrayをdelしても変わりません。」コードを掲載ください。
・環境の情報を掲載ください。（OS、メモリ等）

[退会済みユーザー]

> hoge(numpy_data)
これ抜きでも1GB分走査した際にメモリがいっぱいになるのでしょうか？
Yesならnumpyの問題かもしれませんし、Noであればhoge(blah)の問題だと思います。
一度お確かめください。

[Amanokawa]

hoge()抜きでもメモリは増えました。

[退会済みユーザー]

numpy_data = np.array(pil_img_list[np.random.randint(0, len(pil_img_list))])
のように変数の定義を減らしてはいかがでしょうか？

[Amanokawa]

読みやすいように分けて書きましたが、定義せず実行した場合も同様に増えていきます。

Answer 1

同じ問題に行き詰った方がその解決策を公開されています。

ryuoujisintaさん@Qiita

解決策：
リークする処理を回数制限付きの子プロセスに任せる。
一定回数でプロセスを閉じて次の子プロセスに任せる。

Pythonはこういうもの、かもしれません。

Comments

[Amanokawa]

回答ありがとうございます。
何がメモリを使っているのかを考えると、PILのオブジェクトなのではないかとたどり着きました。
この場合の子プロセスとはPILのオブジェクトになるので、一定期間で再読み込みさせるようコードを書き直したところ期待通りの動きをしてくれるようになりました。

Answer 2

gcモジュールを使用してみてはどうでしょうか？

import gc

#コード

del numpy_data
gc.collect()

明示的にガベージコレクションを行います。

Comments

[Amanokawa]

試してみましたが効果がありませんでした。

[meg_]

ループ内で生成している他の変数もGCしても未だメモリ不足でしょうか？

[Amanokawa]

メモリ不足になります。
globals()でnumpy_dataを確認したところしっかり消えているようなので、いったいなににメモリを使っているのか不思議です。