pythonで大量のファイル処理時のメモリオーバーフロー

Question

python3.9.7を使用しています。ほぼ初心者です。

数値データが入った大量のバイナリファイル（800kbがおおよそ10000個ほど)を読み込んでそれぞれをmatplotlibで画像ファイルとして書き出したいと考えております。（実際は書き出す必要はないのですが中身の確認のため）

そこで以下のようにforループを用いて一回のループでファイルを開いて処理しているのですが、７０００回くらい回ったところでメモリが溢れてkillされてしまいます。

原因と解決策を教えていただきたいです。
ちなみにパソコンはmacbook pro14(2021)を使用しております。

import numpy as np
import matplotlib.pyplot as plt
import glob
import os
from natsort import natsorted

def loadconfig():
    with open('Setting.txt','r') as f:
        setting = np.loadtxt(f,skiprows = 10)
        return setting

def readbynary(path):
    with open (path,'rb') as fb:
        fb.seek(4)
        data = np.frombuffer(fb.read(),dtype='float64')
        return data

def savefig(title,data,time):
    x = time
    y = data
    plt.figure(dpi=50,figsize=(9,6))
    plt.plot(x,y,label="data")
    plt.xlabel("time [s]")
    plt.ylabel("volt [V]")
    plt.title(title)
    plt.legend()
    plt.savefig(title+'.jpeg')


if __name__ == '__main__':
    setting = loadconfig()
    rate = int(setting[2])
    samples = int(setting[4])
    time = np.arange(0,1/rate*samples,1/rate)
    files = natsorted(glob.glob('CH0_pulse/rawdata/CH0_*.dat'))
    for i in files:
        print(i)
        data = readbynary(i)
        time_2 = np.arange(0,len(data),1)
        from libs.graugh import savefig,showfig
        p=i.replace('rawdata','picture')
        savefig(p,data,time_2)

Comments

[melian]

savefig(p,data,time_2) の直後に(for loop の内部)、

del data
gc.collect()

を入れるとどうなるでしょうか(スクリプトの最初に import gc を追加して下さい)。

[退会済みユーザー]

melicanさんのコメントの対応に加え、
念のため以下の文をスクリプトの初めの方に移してください。
（実際メモリがどうなっているかはわかりませんが、毎度importするところに違和感を感じます）
from libs.graugh import savefig,showfig

[Pinkman1112]

お返事ありがとうございます。

del data
gc.collect()

を加えて実行してみたところ初めは快適に回っていたのですが徐々に遅くなり、2000回ほど回ったところで一秒間に１回ほどしか回らない速度になりました。その分メモリの使用率の上昇はなだらかになりやがて一定になりましたが、この速度で回すのは正直きついところがあります。
上記のコードは一回のループごとにdataをクリアしてメモリを解放しているそうなので実行速度が遅くなることはわかりますが、それでメモリの使用率が上昇する理屈がわからないのですが、教えていただけないでしょうか？

from libs.graugh import savefig,showfig

を最初に書くというのは実行されるごとにオーバヘッドが発生するからということでしょうか？
プログラミングは始めたばかりなので初歩的な質問になりますが、importするときは全部初めに書いておけば良いでしょうか？

[退会済みユーザー]

Pinkman1112さん
> オーバヘッドが発生するからということでしょうか？
やっていないので確証はありませんが、一度使えばいい処理が何度もfor文の中で使われると、オーバーヘッドしたら嫌だなぁという気持ちがわいてきます。

> importするときは全部初めに書いておけば良いでしょうか？
一般的な書き方（お行儀？）としては、プログラムの頭の方にimportを並べる人が多いです。何を使うか一目でわかるから、という理由かもしれません。ほかの人に見てもらうプログラムの場合、初めの方にimportを固めた方が見る人がげんなりしにくくなります（importが散在していると、厳しい人ならブツブツ言いそうな書き方です）。

ただ、エラーが起きた時の対処（どうせ後はexit()するしかない）の時だけは、エラーをトラップした先で以下のようにimportする例も見ます。
except Exception as error:
　　import traceback
　　traceback.print_exc()

[Pinkman1112]

大変勉強になりました。ありがとございます。

Answer 1

figureを、最初にひとつ作って、それを使い回すのがいいと思います。

参考 https://qiita.com/uz29/items/dd2e4c4fb2acaee5a93d

下記だとsavefigする場合は完全にはメモリリークは防げないようです
figureをクリア(plt.clf())したり、クローズ(plt.close())する必要があります。

この記事が参考になるかと思います。https://qiita.com/Masahiro_T/items/bdd0482a8efd84cdd270

Comments

[Pinkman1112]

上記の通りするとメモリリークすることなく実行できました。
ありがとうございます。