kerasのライブラリでデータ拡張を行った際に拡張後のデータと正解ラベルがずれてしまう

Question

初学者のため、基本的な質問で申し訳ありません。
不足情報がありましたらお申し付け下さい。

1.やっていること

2400枚の画像を用いた15クラス分類問題

2.今まで実施したこと

CNNで正解率95%程度のモデル構築ができた。

3.実現したいこと

データ拡張を加えて、学習データ数を増やし、正解率をさらに高めたい

4.3の実現のためにやろうとしていること

・kerasのimagedatageneratorでノイズを加えたデータを生成、元データに付け足して学習を行う

5.4の実施結果

データ拡張を実施したモデルの方がデータ拡張を実施しない元データだけでの学習よりも正解率が下がってしまった

6.5の原因

imagedatageneratorが、渡したデータからランダムにデータを抽出するのか、データ拡張を行った画像とそれに対応する正解ラベルが誤ってしまっていた。

7.ご教示いただきたいこと

imagedatageneratorを用いて、拡張後の画像と正解ラベルがずれない実装方法を教えていただきたい。
imagedatageneratorでなくとも良いが、なるべく簡単な実装だと助かります。
model.fit.generatorでリアルタイムに画像を拡張しながら、学習ができることは知っていますが、それだと①オリジナルのデータを学習させられない②オリジナルデータを超える数の教師データを作れない認識のため、上記のような方法を取っています。

該当のソースコード

######生成器を作成
datagen = ImageDataGenerator(
rotation_range=0.1,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=0.2,
zoom_range=0.1,
horizontal_flip=False,
vertical_flip=False)
######データ拡張を実施
X_gen1 = datagen.flow(X_train, batch_size=2400)[0]
######教師データを結合
X_train_new = np.concatenate([X_train, X_gen1])
######正解ラベルも結合
y_train_new = np.concatenate([y_train, y_train])

Answer 1

datagen.flow(X, y) とラベルも渡せます。そうすると、ジェネレーターは X, y のペアを返すようになります。

画像の前処理 - Keras Documentation

Comments

[dbrow]

ありがとうございます！
ちなみに、ジェネレータで持っているデータの形はどうなるのでしょうか。（渡したのと同様にnumpy配列なのでしょうか。）
shapeが確認できなかったため、もしご存知であればご教示頂けますと幸いです。

[tiitoi]

渡したのと同様に numpy 配列です。
next(ジェネレーター) でジェネレーターにデータを生成させることができるので、その返り値の shape を確認してみてください

[dbrow]

度々申し訳ありません。AttributeError: 'tuple' object has no attribute 'shape'　というエラーを吐いてしまいます。ご返信ではなく、別の質問とした方がよければその旨お申し付けください。宜しくお願いします。
# generatorの設定
datagen = ImageDataGenerator(
rotation_range=0.1,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=0.2,
zoom_range=0.1,
horizontal_flip=False,
vertical_flip=False)
# 正解ラベル渡しつつ、ジェネレーター生成
X_gen = datagen.flow(X_train, y_train, batch_size=10)
# ジェネレータからデータ生成
X_gen_new = X_gen.__next__()
#これで上記のエラーを吐きます
print(X_gen_new.shape)

[tiitoi]

flow に　X,yの２つを渡したので、ジェネレーターの返り値もX,yのタプルになります。
printして確認してみてください

[dbrow]

＞ジェネレーターの返り値もX,yのタプルになります。
ありがとうございます。printで確認できました。
X_gen_new に格納されているX とy の切り分けをして、それぞれオリジナルのX, yと結合後、学習をしたいのですが、X とyの切り分け方、オリジナルデータとの結合のしかたをご教示いただくことは可能でしょうか。
X_train_new = np.concatenate([X_train, X_gen_new])
で以下のエラーが出てしまいます。
ValueError: could not broadcast input array from shape (10,28,28,1) into shape (10)

[tiitoi]

タプルで X, y が返ってくるわけなので、以下のようにして受け取ればいいです。
X_gen_new, y_gen_new = X_gen.__next__()