Python・for文でメモリリークしてクラッシュしてしまう。スマートな解決策求む....

Question

MNISTデータセットで訓練したモデルたちを自前の手書き画像で検証したい。

発生している問題・エラーメッセージ

パラメーターを少しいじった18通りの訓練させたモデルをhdf5ファイルとして保存して、for文を使って自作で用意した手書き数字画像を使って検証しようとしたら、メモリリークしてしまいます。
for文を使わずに、１つずつやればメモリリークすることはないのですが、せっかくなので解決策を探そうとしたのですが、太刀打ちできませんでした....

使用可能な RAM をすべて使用した後で、セッションがクラッシュしました。 

クラッシュが起こったことに対しての質問・気になった点

1. メモリーを開放？する方法、またはメモリの使用量を抑える方法
2. そもそもクラッシュした理由として、何故こんなにメモリを使っているのか

該当のソースコード

# 数字画像の読み込みとリサイズ
import cv2
import matplotlib.pyplot as plt
import pandas as pd

img_raw_list = []
img_resize_list = []

for x in range(10):
  img_raw_list.append(255 - cv2.imread('{}.png'.format(x), flags=cv2.IMREAD_GRAYSCALE))
  img_resize_list.append(cv2.resize(img_raw_list[x], (28,28)))

for i in range(0, 10, 2):  
  fig1, axes1 = plt.subplots(1, 4)
  axes1[0].imshow(img_raw_list[i])
  axes1[1].imshow(img_resize_list[i])
  axes1[2].imshow(img_raw_list[i + 1])
  axes1[3].imshow(img_resize_list[i + 1])
  fig1.tight_layout()
  plt.show()

plt.savefig('Numbers.png')

上記の画像を用いて検証します

import cv2
import matplotlib.pyplot as plt

#答えの判定用
label = list(range(10))
#各モデルで用意した手書き数字を検証した際の結果を保存するやつ
result_list = []
#各モデルでの正答率
result_acc = []
#作ったモデル
histories = ['Adam',
             'SGD',
             'RMSprop',
             'batch_64',
             'batch_1024',
             'batch_2048',
             'layer_5', 
             'layer_6',
             'layer_7',
             'Unit256',
             'Unit1024',
             'Unit2048',
             'Linear',
             'Sigmoid',
             'Softplus',
             'Epoch_10',
             'Epoch_50',
             'Epoch_100']

#問題のfor文
for history in histories:
  #途中経過を確認するための出力
  print('Running {}'.format(history))

  result = []
　#正答率を計算する用
  count = 0
  for x in range(10):
    input = img_resize_list[x].reshape((1,784))
    input = input.astype('float32')
    input /= 255

    # 学習済みモデルの読み込み
    from keras.models import load_model
    model = tf.keras.models.load_model('model_{}.hdf5'.format(history))

    # 手書き数字の予測
    pred = model.predict(input, verbose=0)
    result.append(pred.argmax())
    #正答率の計算
    if label[x] == (pred.argmax()).astype(int):
      count += 1
  result_list.append(result)
  result_acc.append(count/10)
  
#pandas使って表として出そうとしてます
df = pd.DataFrame(result_list, index = histories, columns = label)
df['Accuracy'] = result_acc
fig2, axes2 = plt.subplots()
axes2.axis('off')
tbl = axes2.table(cellText = df.values,
           colLabels=df.columns,
           rowLabels=df.index)

#表を画像として保存
plt.savefig('Accuracy.png')
plt.show()

補足情報（FW/ツールのバージョンなど）

google colab(RAM:25.51GB)

Comments

[meg_]

pandasはメモリ使用量が大きいですが、pandasを使わない場合でもメモリオーバーしていますか？

[Q71]

どこで処理が止まりますか。例えば、あちこちにprintで経過を出力すれば、何処まで実行できたかわかります。

[Lana1114]

meg_さん
Pandasを使ってもオーバーしてしまいます。

[Lana1114]

Q71さん
layer_7かUnit256のどっちかで落ちます。

[Q71]

上のforと下のfor、それぞれ何処まで回っているかとか、なんで情報を細切れにするんだろう

Answer 1

貴方のいうスマートとは程遠い意見かも知れませんが、関数を使ってはいかがでしょうか？
きっと不要なデータがメモリに残っている気がします。
特に一番の原因と想定される部分は関数でしっかりと分けた方が良いと思います。
これは一例なので、そのままコピーしたらエラーが出るかも知れません、分割出来る場所はしっかりと分割した方が、メモリが解放されるのでメモリリークを起こす心配もなくと思います。

あと、resultが更新されずに10回謎に配列に代入され続けている気がします。

def func1():
    #問題のfor文
    for history in histories:
        #途中経過を確認するための出力
        print('Running {}'.format(history))

　      #正答率を計算する用
        count = 0
        for x in range(10):
            if func2():
                count += 1

def func2(count = 0) -> bool:
    returnAnswer = False
  
    input = img_resize_list[x].reshape((1,784))
    input = input.astype('float32')
    input /= 255

    # 学習済みモデルの読み込み
    from keras.models import load_model
    model = tf.keras.models.load_model('model_{}.hdf5'.format(history))

    # 手書き数字の予測
    pred = model.predict(input, verbose=0)
    result = pred.argmax()

    #下記を見直した方がいいと思います。

    #正答率の計算
    if label[x] == (pred.argmax()).astype(int):
      returnAnswer = True
    result_list.append(result)
    result_acc.append(count/10)

Answer 2

まずは、メモリプロファイルを取ってみるとか？
https://www.google.com/search?q=python+memory_profiler