メモリが足りないです

Question

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import glob
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split


x_train, x_valid, y_train, y_valid = np.load("/content/drive/MyDrive/chest x-ray/dataset 3/Xy_data.npy", allow_pickle=True)

x_train = np.array(x_train) / 255.0
x_valid = np.array(x_valid) / 255.0
y_train = np.array(y_train)
y_valid = np.array(y_valid)

Xy_data = (x_train, x_valid, y_train, y_valid)
np.save("/content/drive/MyDrive/image/Xy_data0.npy", Xy_data)

google colab　proを使っています。特にエラーコードはなくセッションがクラッシュしましたと言われて再起動します。

上のコードを実行すると、np.save("/content/drive/MyDrive/image/Xy_data0.npy", Xy_data)　の部分でセッションがクラッシュしてしまいます。
どのようにすればクラッシュせずに実行できますか？
自分はデータがメモリを消費するため、一回一回データを変えた後にセーブさせようとしています。
また、np.save("/content/drive/MyDrive/image/Xy_data0.npy", Xy_data)のコードを実行せずにモデルを作るコード下のような

model = tf.keras.models.Sequential([
                                    tf.keras.layers.Flatten(input_shape=(1024, 1024, 1)),
                                    tf.keras.layers.Dense(64, activation='relu'),
                                    tf.keras.layers.Dropout(0.2),
                                    tf.keras.layers.Dense(2, activation='softmax')
])
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=10)

を実行しても同じようにセッションがクラッシュしてしまいます。

画像のサイズが1024x1024なのですが大きすぎるでしょうか？

Comments

[jbpb0]

> セッションがクラッシュ

Pythonは、どのようにして実行してるのですか？

「クラッシュ」とは、具体的に何が起きるのですか？
エラーメッセージとか、表示されないのでしょうか？

[shosinnshadesu]

変更いたしました。

[Zuishin]

> 画像のサイズが1024x1024なのですが大きすぎるでしょうか？

その程度の大きさでクラッシュするようなものはリリースしないでしょう。
保存時に異常終了するのがはっきりしているのであれば、真っ先に書き込み権限を疑ってください。numpy を使わず同じパスで空のファイルが作れるかどうかを確かめてみたらどうでしょうか。

[bsdfan]

x_train, x_valid, y_train, y_validのshapeはどうなっていますか？
numpy.save()はひとつのarrayを保存するためのものなので、複数のarrayをtupleにしてわたすと、中でひとつのarrayに変換しようとしているかもしれません。shapeがそろっていないとエラーになりそうです。(それでクラッシュするとは思えないですが) → 試してみたところwarningは出ますがエラーにはなりませんでした。
numpy.save()でこういう使い方は、あまりしないと思います。

[jbpb0]

エラーが出る行のすぐ上に下記を追加して実行したら、それぞれ何て表示されますでしょうか？

print(x_train.shape)
print(x_valid.shape)
print(y_train.shape)
print(y_valid.shape)
print(x_train.dtype)
print(x_valid.dtype)
print(y_train.dtype)
print(y_valid.dtype)

[jbpb0]

Xy_data =...
を(一回も)やらずに、「np.savez()」でx_trainとかを一つのファイルにまとめて保存しても、ダメでしょうか？
https://note.nkmk.me/python-numpy-load-save-savez-npy-npz/

[jbpb0]

> 画像のサイズが1024x1024なのですが大きすぎるでしょうか？

枚数によります

質問に掲載されてるコードでは、全部のデータを読み込んで処理するので、画像枚数が多いとメモリーが不足するでしょうね

> どのようにすればクラッシュせずに実行できますか？

画像枚数が多すぎることが原因ならですが、
https://www.scsk.jp/product/oss/tec_guide/tensorflow_keras/1_tensorflow_keras2_3.html
https://developers.wonderpla.net/entry/2017/10/24/110000
とかに書かれてる方法では、データを全部読み込まず、必要な分だけ読み込んで処理するので、バッチサイズを小さくすれば使うメモリーが減ります

Answer 1

メモリが足りないのですか？