Pythonで４GB以上のオブジェクトをserializeする時のエラー

Question

#わからないところ
現在、150枚の画像に反転や回転を加えてデータセットを作っています。
100枚の場合は成功したのですが、枚数を増やすと以下に記載するエラーが出てしまいました。
#参考にした記事
以下のリンクの記事を拝見したところ、pickle.dumpの引数であるprotocolをprotocol=4にすればよいという事はわかりました。
しかし、saveやwrite_arrayなどの関数やformat.pyなどのモジュールはこちらで定義しておらず内部のもの？なので引数の変え方がわかりませんでした。
https://qiita.com/NomuraS/items/da3fd3a1ecd76175e5f8

#実行したコード

from PIL import Image
import os, glob
import numpy as np
from keras.utils import np_utils
from sklearn import model_selection
from sklearn.model_selection import train_test_split
import pickle


classes = ["leftt","rightt"]
num_classes = len(classes)
image_size = 320


#datesetのディレクトリ
datadir='/content/drive/MyDrive/Colab Notebooks/spiral/CNN(No,6)/'

#画像の読み込み
X = []
Y = []


for index, classlabel in enumerate(classes):
    photos_dir = datadir+ classlabel
    files = glob.glob(photos_dir + "/*.jpg")
    for i, file in enumerate(files):
        
        image = Image.open(file)
        image = image.convert("RGB")
        image = image.resize((image_size, image_size))
        #image.save("./test/{}{}.jpg".format(classlabel,i))
        data = np.asarray(image)
        
        for angle in range(-20, 20, 5):##5
            # 回転
            img_r = image.rotate(angle)
            data = np.asarray(img_r)
            X.append(data)
            Y.append(index)

            # 反転
            img_trans = image.transpose(Image.FLIP_LEFT_RIGHT)
            data = np.asarray(img_trans)
            X.append(data)
            Y.append(index)

        

X = np.array(X)
Y = np.array(Y)



#２割検証データへ
(X_train, X_test, y_train, y_test) = train_test_split(X, Y, test_size=0.2)

#正規化
X_train = X_train.astype("float") / 255
X_test = X_test.astype("float") / 255

#教師データの型を変換
y_train = np_utils.to_categorical(y_train,num_classes)
y_test = np_utils.to_categorical(y_test, num_classes)

#X_train, X_test, y_train, y_test = model_selection.train_test_split(X, Y)
xy = (X_train, X_test, y_train, y_test)
np.save("/content/drive/MyDrive/Colab Notebooks/spiral/CNN(No,6)/dataset.npy", xy)

print('X_train.shape:', X_train.shape)
print('X_test.shape:', X_test.shape)
print('y_train.shape:', y_train.shape)
print('y_test.shape:', y_test.shape)

#出力されたエラー

/usr/local/lib/python3.7/dist-packages/numpy/lib/npyio.py in save(file, arr, allow_pickle, fix_imports)
    527         arr = np.asanyarray(arr)
    528         format.write_array(fid, arr, allow_pickle=allow_pickle,
--> 529                            pickle_kwargs=dict(fix_imports=fix_imports))
    530 
    531 

/usr/local/lib/python3.7/dist-packages/numpy/lib/format.py in write_array(fp, array, version, allow_pickle, pickle_kwargs)
    662         if pickle_kwargs is None:
    663             pickle_kwargs = {}
--> 664         pickle.dump(array, fp, protocol=3, **pickle_kwargs)
    665     elif array.flags.f_contiguous and not array.flags.c_contiguous:
    666         if isfileobj(fp):

OverflowError: cannot serialize a bytes object larger than 4 GiB

#教えていただきたい点
・内部で定義されている（はず？の）関数の引数の値の変え方
・それ以外の解決策
以上2点のどちらかを教えていただきたいです。
よろしくお願い致します。

Comments

[1T2R3M4]

調べたこと、試したことを質問に追記していただけませんか。
https://teratail.com/help/question-tips#questionTips1-2

[0afnjosa]

1T2R3M4様、ご返信ありがとうございます。
ただいま、解決方法が分かりましたのでそれも含めて記載したいと思います。
次回はもう少し詳細に書くよう努力いたします。
ありがとうございました。

[coco_bauer]

質問者が参照されているQiitaの記事に書かれている class MacOSFile(object): のプログラムを使い、「pickle.dump pickle.loadの代わりにpickle_dump pickle_loadを使う(質問に書かれているプログラムの"pickle.dump"を"pickle_dump"に変更する)」という方法は試してみましたか?

[0afnjosa]

coco_bauer様、ご返信ありがとうございます。
当方、Windowsだったので、そちらは試していません。

Answer 1

#注意
勝手に内部のプログラムを書き換えるのは回答としてはよい方法ではないようなので、もしこの解決方法を試そうと思っている方は自己責任でお願い致します。
#行ったこと
エラーが出ていたwrite_arrayの引数の書き換え。
#方法
Google Colabのファイルを開くと添付してある画像が出てくると思います。
その中でdriveの上のマークをクリックすると沢山フォルダが出てくるので、今回であれば/usr/local/lib/python3.7/dist-packages/numpy/lib/format.pyの順番にフォルダを見ていくとformat.pyのモジュールを開く事が出来ます。
後はその中のprotocolの値を4にすることで無事に動くと思います。

(555e3736227387f5eddb8b8a76cf7b35.png)

Comments

[bsdfan]

今回はnumpy.save の使い方を間違っているのが原因で、X_train, X_test, y_train, y_test を個別のファイルにsaveするか、numpy.savez を使うのがいいです。
安易にライブラリのコードを書き換えるのは、回答としてはよくないです。

[0afnjosa]

bsdfan様、ご指摘ありがとうございます。
次回からそのようにコードを書き換えてみたいと思います。
良い方法ではないという事も回答に付け加えさせていただきたいと思います。

Answer 2

公式ドキュメント numpy.saveに書かれている、
キーワード引数allow_pickleを使って、

numpy.save(file, arr, allow_pickle=False)

として保存してください。

Comments

[0afnjosa]

ppaul様、ご回答ありがとうございます。
自己解決したと思っていましたが、あまり良い方法ではないようなのでこちらでも動かしてみたいと思います。

[0afnjosa]

こちらのコードで動かしてみたところ、以下のエラーが出されてしまいました。
ValueError: Object arrays cannot be saved when allow_pickle=False
allow_pickleをFalseにするとオブジェクトが保存できないようです。

Answer 3

#追記
添付した画像が表示されていなかったのでこちらに貼っておきます。