ディープラーニング バッチ処理をする際にメモリが圧迫される

Question

任意のフォルダを選んで、そのフォルダの中にある画像をバッチ処理したいと考えています

from PIL import Image
import os
import numpy as np
import pickle

directory = "ディレクトリ"
画像フォルダ = os.listdir(directory)

image_batch = np.empty((0, 151353), int)

for it in 画像フォルダ:

    if it == "Thumbs.db":
        continue

    image_value = np.array(Image.open(directory + "/" + it))
    image_value = image_value.reshape(1, image_value.size)
    image_batch = np.append(image_batch, image_value, axis=0)

with open ("猫画像バッチ処理.py", "wb") as 猫画像バッチ:
    pickle.dump(image_batch, 猫画像バッチ)

os.listdirとイテレ―ションでフォルダの中にある全ての画像にアクセスして
reshapeで配列を1次元に直したうえで、image_batchにappendしていき、最後にpickleを使って変数を保存するというプログラムです

image_batchの初期化方法はこちらのサイトを参考にさせていただきました
http://qiita.com/fist0/items/d0779ff861356dafaf95

一応これで望んでいる処理が出来そうなのですが、画像フォルダの中には、
2512013の画像が2万近くあるせいか、実行してしばらくすると、メモリが圧迫されて、パソコンが動かなくなってしまいます。

↓こんな感じで分割して保存していくというのも考えてはみたのですが

from PIL import Image
import os
import numpy as np
import pickle

directory = "ディレクトリ"
画像フォルダ = os.listdir(directory)

image_batch = np.empty((0, 151353), int)

image_number = 0
分割数 = 500
pickle_name = 1

while image_number != len(画像フォルダ) - (1):

    image_name = "/" + 画像フォルダ[image_number]

    if image_name == "/Thumbs.db":
        image_number +=1
        continue

    image_value = np.array(Image.open(directory + image_name))
    image_value = image_value.reshape(1, image_value.size)

    append = np.append
    image_batch = append(image_batch, image_value, axis=0)

    #分割をしながら保存していくプログラム
    if image_batch.shape[0] == 分割数:

        with open("猫画像バッチ処理" + str(pickle_name) +".py", "wb") as バッチ処理:
            pickle.dump(image_batch, バッチ処理)

        pickle_name += 1
        image_batch = np.delete(image_batch, range(0, image_batch.shape[0]), axis=0)

    image_number +=1

これだとメモリの圧迫を回避しながら保存していく事が出来たのですが、今度はpickleを手作業で足していくという作業が必要になってしまいます...

import numpy as np
import pickle
import os

with open("猫画像バッチ処理完了.py", "rb") as 猫画像バッチ1:
    x = pickle.load(猫画像バッチ1)

#手作業で名前を変えながら一つ一つappendしていかなければならない
with open("猫画像バッチ処理6.py", "rb") as 猫画像バッチ:
    y = pickle.load(猫画像バッチ)

x = np.append(x, y, axis=0)

with open("猫画像バッチ処理完了.py", "wb") as n:
    pickle.dump(x, n)

手作業になると、ミスも起きやすいので、極力避けたいと思っています

メモリの圧迫を防げて、かつ手作業を極力減らせるバッチ処理を行う方法や、皆さんがどのようにバッチ処理をしているかなど、お聞きしたいです><

また、メモリは8GBあります。

追記

from PIL import Image
import os
import numpy as np
import pickle

image_batch = np.empty((0, 151353), int)

with open("猫画像バッチ処理.py", "wb") as バッチ処理:
    pickle.dump(image_batch, バッチ処理)

directory = "ディレクトリ"
画像フォルダ = os.listdir(directory)

image_number = 0
分割数 = 200
setter = np.empty((0, 151353), int)

while image_number != len(画像フォルダ) - (1):

    image_name = "/" + 画像フォルダ[image_number]

    if image_name == "/Thumbs.db":
        image_number +=1
        continue

    image_value = np.array(Image.open(directory + image_name))
    image_value = image_value.reshape(1, image_value.size)

    append = np.append
    setter = append(setter, image_value, axis=0)

    if setter.shape[0] == 分割数:

        with open("猫画像バッチ処理.py", "rb") as バッチ処理:
            image_batch = pickle.load(バッチ処理)

        image_batch = append(image_batch, setter, axis=0)

        with open("猫画像バッチ処理.py", "wb") as バッチ処理:
            pickle.dump(image_batch, バッチ処理)

        print(image_batch.shape)
        del image_batch

        setter = np.delete(setter, range(0, setter.shape[0]), axis=0)

    image_number +=1

image_batch = append(image_batch, setter, axis=0)

with open("猫画像バッチ処理.py", "wb") as バッチ処理:
    pickle.dump(image_batch, バッチ処理)

新たの別の事を試したので、一応記載しておきます。
初期化されてある、image_batchを予め、pickle化して保存しておきます。
変数を保持する為にsetterを用意し、そこに画像の配列をappendしていき、指定した分割数が溜まれば、pickle化されてあったimage_batchを開いて、setterに溜まった配列と連結させ、それをpickleで上書き保存します。
そしてメモリを確保する為に、delとnp.deletaを使って、image_batchとsetterを削除します。
これで少しずつappendしながら保存できるので、うまくいくかと思ったのですが、タスクマネージャーの動きを見る限り、どうやらpickleをloadする時に大きくメモリを使ってしまうようです
メモリを圧迫してしまうのはやむおえない事なのでしょうか...

※回答に対するコードです。
コメントに書くとインデントがずれる為、此方に書かせて頂きます
回答を参考に書いたコードです

from PIL import Image
import os
import numpy as np
import pickle

directory = "ディレクトリ"
画像フォルダ = os.listdir(directory)

image_list = []

for it in 画像フォルダ:

    if it == "Thumbs.db":
        continue

    image_value = np.array(Image.open(directory + "/" + it))
    image_value = image_value.reshape(image_value.size)
    append = image_list.append
    append(image_value)

image_batch = np.array(image_list)

print(image_batch.shape)
with open ("猫画像バッチ処理.py", "wb") as 猫画像バッチ:
    pickle.dump(image_batch, 猫画像バッチ)

Answer 1

image_listにすべての画像を展開しているため、メモリが膨大に膨れ上がっているためです。

image_listに一旦貯めるのではなく、pickleに順次ダンプしていけばよいのではないでしょうか？

import pickle
import io

s = io.BytesIO()
for x in range(10):
    s.write(pickle.dumps(x))

s.seek(0)

while True:
    try:
        t = pickle.load(s)
    except EOFError:
        break
    print(t)

上の例ではBytesIOに保存していますが、これをファイルにすればバッファに貯めることなく、順次ダンプできます。

---

追記

ファイルに書き込む場合は以下のようになります。

import pickle

with open("test.pickle", "wb") as fd:
    for x in range(10):
        fd.write(pickle.dumps(x))

with open("test.pickle", "rb") as fd:
    while True:
        try:
            t = pickle.load(fd)
        except EOFError:
            break
            
        print(t)

Comments

[退会済みユーザー]

ありがとうございます！
ioというのが何かわからなかったのでざっと調べた感じ、バイナリ化する？ものなのですかね。
バイナリ関連はほどんとした事ないですが、試してみます！

[pashango2]

混乱させて申し訳ありません、s = io.BytesIO()はs = open("xxxx", "wb")に変換してください。
ioモジュールは処理の本筋ではありません。
BytesIOを使ったのは、単純にファイルを生成してしまうと後片付けが面倒だったためです。

[退会済みユーザー]

返信遅れてすいません
これって順次ダンプする度に上書きしているように見えるのですがそうでもないのでしょうか？

import pickle

for i in range(10):
>>>>with open("テスト.py", "wb") as テスト:
>>>>>>>>pickle.dump(i, テスト)

with open("テスト.py", "rb") as テスト:
>>print(pickle.load(テスト))

インデントがずれるので代わりに>で表現させていただきました
このコードでは、上書きされてしまいますが、提示してくださったコードとほぼ同義だと思うのですが、自分の理解が及んでないだけでしょうか

[pashango2]

このコードでは上書きされます、openは1回だけです。

[退会済みユーザー]

コード拝見させていただきました。
理解するのに少し時間がかかりましたが、イテレータをpickleに保存して、イテレーションさせて取り出すという事をしているんですね
こんなやり方があるとは...とても勉強になります><

Answer 2

np.array に 1画像ずつ append する部分でメモリーを多く使ってしまっているのではと、想像します。
まずは、画像ごとの np.array を list にして、全部の画像をimage_listに入れてから、np.array(image_list) するというのは、如何でしょうか？

image_list = []

for it in 画像フォルダ:

    if it == "Thumbs.db":
        continue

    image_value = np.array(Image.open(directory + "/" + it))
    image_list.append(image_value.reshape(1, image_value.size))

image_batch=np.array(image_list)

Comments

[退会済みユーザー]

ありがとうございます！
試しにリストにappendしていき、最後にnp.arrayに変換してみましたが、結果は同じでした。
一応回答の方にコードを書いておきました

[hiro-k]

フリーズに近い状態になるのって、
print(image_batch.shape)
が表示される前ですか、それとも表示された後ですか？

それによって、対応すべきところが変わるかと思います。

[退会済みユーザー]

表示される前ですね。
タスクマネージャーを確認しているのですが、少しずつメモリが圧迫されて、最終的にはハードディスクの法にも影響が出てメモリ、ディスクともに使用率が100%近くになります。

[hiro-k]

元のコードで1点気になるところがあります。

画像データは、251*201*3*2万 = 約2.8GB ですが、
image_batch = np.empty((0, 151353), int)
と定義されているため、image_batch に append されると int型に変換されて、4倍 か 8倍に膨らみます。そうするとそのデータだけで実メモリサイズを越えてしまいます。これは意図されていることなのでしょうか？

私の提案した手法だと uint8 型が保持されるので、そこまでメモリは使われないはずですが、それでも固まるとなると、元コードは更に厳しいはずです。

[退会済みユーザー]

いえ int型に変換しているのは意図しているわけではなく、回答に貼ってあるurlのサイトには、intで書かれていた為、そうしただけです
int型だと容量が大きく膨らむのは知りませんでした

そして、試しにもう一度提示されたコードにprint(len(image_list))を追加して実行してみると、append部分はすんなり出来ていて、どうやらimage_listをnp.arrayに変換する時と、pickleを保存する際に大きな負荷がかかっていたようです。
なので、その部分で暫く待つと何とかpickleを保存する事が出来ました

ありがとうございました！