Kerasで大容量データを扱う際のエラー

Question

前提・実現したいこと

機械学習初心者です。
Kerasでモデルを作成しています。
どの食べ物かを判定するAIで，フィッティングを行っています。
しかし画像ファイルが数千枚あり，少量の画像ならしっかりフィッティングできるのですが大量の画像だとエラーが出てしまいます。詳しい方ご教授お願いします。

発生している問題・エラーメッセージ

Epoch 1/10
Traceback (most recent call last):
  File "C:\Users\ユーザ\Documents\work\train2.py", line 51, in <module>
    main()
  File "C:\Users\ユーザ\Documents\work\train2.py", line 41, in main
    model.fit_generator(
  File "C:\anaconda3\lib\site-packages\keras\engine\training.py", line 1975, in fit_generator
    return self.fit(
  File "C:\anaconda3\lib\site-packages\keras\engine\training.py", line 1184, in fit
    tmp_logs = self.train_function(iterator)
  File "C:\anaconda3\lib\site-packages\tensorflow\python\eager\def_function.py", line 885, in __call__
    result = self._call(*args, **kwds)
  File "C:\anaconda3\lib\site-packages\tensorflow\python\eager\def_function.py", line 950, in _call
    return self._stateless_fn(*args, **kwds)
  File "C:\anaconda3\lib\site-packages\tensorflow\python\eager\function.py", line 3039, in __call__
    return graph_function._call_flat(
  File "C:\anaconda3\lib\site-packages\tensorflow\python\eager\function.py", line 1963, in _call_flat
    return self._build_call_outputs(self._inference_function.call(
  File "C:\anaconda3\lib\site-packages\tensorflow\python\eager\function.py", line 591, in call
    outputs = execute.execute(
  File "C:\anaconda3\lib\site-packages\tensorflow\python\eager\execute.py", line 59, in quick_execute
    tensors = pywrap_tfe.TFE_Py_Execute(ctx._handle, device_name, op_name,
tensorflow.python.framework.errors_impl.InvalidArgumentError:  Input to reshape is a tensor with 11520 values, but the requested shape requires a multiple of 12544
         [[node sequential/flatten/Reshape (defined at Users\ユーザ\Documents\work\train2.py:41) ]] [Op:__inference_train_function_759]

Function call stack:
train_function

該当のソースコード

from keras.models import Sequential
from keras.layers import Activation, Dense
from keras.layers import Conv2D, MaxPooling2D, Flatten
from keras.preprocessing.image import ImageDataGenerator

def main():
	model = Sequential()
	model.add(Conv2D(64,(3,3), input_shape = (64,64,3)))
	model.add(Activation("relu"))
	model.add(MaxPooling2D(pool_size = (2,2)))

	model.add(Conv2D(64,(3,3)))
	model.add(Activation("relu"))
	model.add(MaxPooling2D(pool_size = (2,2)))

	model.add(Flatten())
	model.add(Dense(256))
	model.add(Activation("relu"))
	model.add(Dense(2))
	model.add(Activation("softmax"))
	# model.summary()

	model.compile(
		    optimizer = "adam",
		    loss = "categorical_crossentropy",
		    metrics = ["accuracy"])

	train_datagen = ImageDataGenerator(rescale = 1./255)
	test_datagen = ImageDataGenerator(rescale = 1./255)

	train_generator = train_datagen.flow_from_directory(
		"data/images",#ここに数千枚の画像
		target_size = (64,64),
		batch_size = 10)

	validation_generator = test_datagen.flow_from_directory(
		"data/test",#ここに数百枚の画像
		target_size = (64,64),
		batch_size = 10)

	model.fit_generator(
		train_generator,
		epochs = 5,
		steps_per_epoch = 10,
		validation_data = validation_generator,
		validation_steps = 10)

	model.save("model.h5")

if __name__ == "__main__":
	main()

試したこと

エポック数を高くしてみた

補足情報（FW/ツールのバージョンなど）

anaconda3

Comments

[退会済みユーザー]

至急とか書くと閲覧者・回答者はイラっとくるので止めた方が良いです。至急はあなたの都合にすぎず、自分のことしか考えてないと思うから。

[Python-V]

わかりました。

Answer 1

tensorflow.python.framework.errors_impl.InvalidArgumentError: Input to reshape is a tensor with 11520 values, but the requested shape requires a multiple of 12544

入力データのreshapeでコケています。
12544というだけはピンときませんが、128x98くらいの画像を使っていませんか？
これに対して128x90=11520 くらいの画像が混ざっているはずです。

■対策
ネットワークに読み込む前に画像群を一度走査して、shapeが正しいか確認してください。
globでファイル群をさらってリストに格納、以下略な感じで行けそうです。

filelist = glob.glob(...)
for file in filelist:
   img = cv2.imread(file)
   if img.shape != (狙いのshape):
      print(file)
      sys.exit()

Comments

[Python-V]

すみません。
上記のコードを拝借してやってみたのですが、
AttributeError: 'NoneType' object has no attribute 'shape'
といったエラーが発生します。
どうすればよいでしょうか？

[退会済みユーザー]

img = cv2.imread(file)のあとにAttributeError: 'NoneType'が出ていたとしたら、
imgがNoneだった=ファイルを読み込めていなかった
です。

よくある例でいえば、glob.globでは根こそぎファイルを拾ってくるので、画像ではないファイル（例えばテキストファイルなど）を拾ってしまい、そのままOpenCV経由でファイルを読み込もうとするとファイルを読み込めずにNoneになります。パスを手打ちしていたら「パスが違ってた」「カレントディレクトリがあってなかった」がよくありますが、globなのでまず間違いなくファイル自体はあって、それが"画像ファイルではない"と思います。「読み込めないファイル(None)のShapeなんかねーよ」と激おこぷんぷん丸なわけです。

もしこれがビンゴであれば、globのリストの結果に対して、png,bmp,jpgはOKとする、ほかはリストから省く(か、そこでfor文の処理をすっ飛ばして次のforの中身に移る)、みたいな処理が必要になります。list_ext = [".png",".bmp",".jpg"]みたいな感じで拡張子を定義して、for file in filelist:の直下にif list_extに該当する拡張子がすべて小文字にした文字列fileの中にあればファイルを読み込む
みたいにすればOKです。
大事なのはすべて大文字か小文字に揃えることです。Pythonだと大文字小文字を別物として扱うので.BMPと.bmpを文字列比較すると「違う」となってしまうんですね。なので文字列は必ず大文字か小文字にプログラム側でそろえてやってください。

あー、
if img is None:
____# 読み込み不良はすっとばす
____print("[",file,"]は画像ファイルじゃないよ")
elif img.shape != (狙いのshape):
____print("[",file,"]はshape"[, str(img.shape),"]がおかしいよ")
else:
____print("うまくいった場合の処理")
の方が早いです。読み込めなければ無視する、は簡単でやりやすいはずです。