model.fitに二つのジェネレーターを入力するか変換を行う項目と行わない項目を作りたい

Question

前提

三項目の分類をしようとしており、三項目の内一つだけ正規化し他の二項目はいろいろな変換処理をできるようにしたいです。

実現したいこと

・ImageDatageneratorの変換を行う項目と行わない項目を作る

発生している問題・エラーメッセージ

追記していただいたy[i].argmax()でエラーなく動くようになりました。
しかし、画像にあるよう学習の進行度を表すゲージが表示されておらず1エポックも終わらない状態になってしまいました。

該当のソースコード

import numpy as np
from PIL import Image
import tensorflow as tf
import time
import matplotlib.pyplot as plt
# import os
# os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
from tensorflow.keras.models import Model
from tensorflow.keras.preprocessing import image
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.callbacks import EarlyStopping, LearningRateScheduler,ReduceLROnPlateau, ModelCheckpoint

Image.MAX_IMAGE_PIXELS = None

#-------切り取り定義-------
def kiritori(img):
    img_array=np.array(img,dtype='int16')         #(50行,83列,3次元)の3次元配列
    a=np.split(img_array,img.height/50)
    img_data=np.split(a[0],img.width/50,axis=1)#stackする土台づくり
    for i in range(len(a)-1):
        img_data=np.vstack([img_data,np.split(a[i+1],img.width/50,axis=1)])

    return img_data

#-------切り取り処理（トレーニングデータ）-------
x_train=kiritori(Image.open('3Gatu_Data/DJI_0708.JPG'))#(#(1200,100,100,3)

train_label=np.loadtxt(fname='label/3Gatu_708_50.csv',delimiter=',',dtype='int16')#(30, 40)
train_label=np.reshape(train_label,(train_label.size))                    #(1200)

a_train_data          = x_train[np.where(train_label==0)]
b_train_data       =x_train[np.where(train_label==1)]
c_train_data    =x_train[np.where(train_label==2)]


#-------データをまとめる-------
x_train=a_train_data
x_train=np.vstack([x_train,b_train_data])
x_train=np.vstack([x_train,c_train_data])

#-------テストデータ処理-------
val_test=kiritori(Image.open('3Gatu_Data/mai_0330_2022.JPG'))

test_label=np.loadtxt(fname='label/3Gatu_mai_50.csv',delimiter=',',dtype='int16')#(30,40)
test_label=np.reshape(test_label,(test_label.size))                    #(1200)

a_test_data = val_test[np.where(test_label==0)]
b_test_data = val_test[np.where(test_label==1)]
c_test_data = val_test[np.where(test_label==2)]

val_test = a_test_data
val_test = np.vstack([val_test,b_test_data])
val_test = np.vstack([val_test,c_test_data])

y_train=np.full((a_train_data.shape[0],1),0)
y_train=np.vstack([y_train,np.full((b_train_data.shape[0],1),[1])])
y_train=np.vstack([y_train,np.full((c_train_data.shape[0],1),[2])])

y_test=np.full((a_test_data.shape[0],1),[0])
y_test=np.vstack([y_test,np.full((b_test_data.shape[0],1),[1])])
y_test=np.vstack([y_test,np.full((c_test_data.shape[0],1),[2])])

from tensorflow.keras.utils import to_categorical
y_train = to_categorical(y_train,3)
y_test = to_categorical(y_test,3)

## 変換処理
x_datagen_base = ImageDataGenerator(
    rescale = 1 / 255,
    dtype = np.float64
)


x_datagen_partial = image.ImageDataGenerator(     
                                                rescale = 1./255,
                                                rotation_range = 180,
                                                fill_mode="constant",
                                                vertical_flip = True,
                                                # brightness_range = [0.7, 1.117],
                                                horizontal_flip = True,
                                                dtype = np.float64
                                            )

x_train_generator = x_datagen_base.flow(x_train, y_train, batch_size= 13)

val_datagen = image.ImageDataGenerator(rescale=1./ 255)
val_test_generator = val_datagen.flow(val_test, y_test,batch_size = 13)

def myflow(gen: ImageDataGenerator):
    for x, y in gen:
        for i, _x in enumerate(x):
            if y[i].argmax() != 0:
                x[i] = x_datagen_base.apply_transform(
                    _x,
                    x_datagen_partial.get_random_transform(_x.shape)
                )
        yield x, y




from tensorflow.python.keras.models import Sequential
model = Sequential()

from tensorflow.python.keras.layers import Conv2D
from tensorflow.keras.layers import PReLU
from tensorflow.python.keras.layers import BatchNormalization
model.add(                                                            #畳み込み
    Conv2D(
        filters=64,         #出力
        input_shape=(50,50,3),
        kernel_size=(3,3),  #フィルタサイズ
        strides=(1,1),
        padding='valid',
        kernel_initializer = "he_uniform"
))

model.add(BatchNormalization()) 
model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))


from tensorflow.python.keras.layers import MaxPooling2D
from tensorflow.python.keras.layers import Dropout


model.add(MaxPooling2D(pool_size=(2,2)))                    #マックスプーリング
                                  #ドロップアウト

#追加畳み込み
model.add(
    Conv2D(
    filters =128,
    kernel_size = (3,3),
    strides = (1,1),
    padding = 'valid',
    kernel_initializer = "he_uniform",
    ))

model.add(BatchNormalization()) 
model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))


model.add(MaxPooling2D(pool_size=(2,2)))


#追加畳み込み
model.add(
    Conv2D(
    filters = 256,
    kernel_size = (3,3),
    strides = (1,1),
    padding = 'valid',
    kernel_initializer = "he_uniform",
    ))

model.add(BatchNormalization()) 
model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))

model.add(MaxPooling2D(pool_size=(2,2)))


#追加畳み込み
model.add(
    Conv2D(
    filters = 512,
    kernel_size = (3,3),
    strides = (1,1),
    padding = 'valid',
    kernel_initializer = "he_uniform",
    ))

model.add(BatchNormalization()) 
model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))

model.add(MaxPooling2D(pool_size=(2,2)))


from tensorflow.python.keras.layers import Flatten
model.add(Flatten())                                               #2次元配列に

from tensorflow.python.keras.layers import Dense

model.add(Dense(units=1536))

model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))

model.add(Dropout(0.5))
model.add(Dense(units=3,activation='softmax',name="f3"))      

model.summary();

reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=10, min_lr=0.0001)

model.compile(
    optimizer = Adam(),                   #自動で学習率が設定される
    loss = 'categorical_crossentropy',    #多分類のときにしていできる交差エントロピー
    metrics = ['accuracy']
)                     

history_model = model.fit(
    myflow(x_train_generator),
    epochs = 10,
    validation_data = val_test_generator, 
    validation_steps = None,
    shuffle = True,
    callbacks = [reduce_lr]
    )

## モデルの保存
model_json_str = model.to_json()
open('Output_file/9/cnn_model_3Gatu_50_500.json', 'w').write(model_json_str)
model.save_weights('Output_file/9/mnist_mlp_3Gatu_50_500_weights2.h5');

score = model.evaluate( val_test_generator, verbose=0)
print('Test loss :', score[0])
print('Test accuracy :', score[1])


loss     = history_model.history['loss']    #訓練データの誤差
val_loss = history_model.history['val_loss']  #テストデータ誤差
accuracy      = history_model.history['accuracy']    #訓練データの誤差
val_accuracy  = history_model.history['val_accuracy']  #テストデータ誤差

試したこと

myflowの適用をしてみました。

補足情報（FW/ツールのバージョンなど）

windows11（64bit）
anacondaを使用
python　3.8.13
TensorFlow　2.3
Spyder 5.3.3を利用

トレーニングデータはもっとあるのですが、省略させていただきました。

Answer 1

model.fit()に2つ渡すことはできないので，代わりにランダムにx_train_generatorとx_train_generator2のいずれかを適用したものを返す，というように作ることは可能です．が，ジェネレータが交互に同じデータを返すこともあるので，これを避けるため交互に返さないように書く必要があり非常に大変です．項目別に選びたいという後述の要件から，ジェネレータに渡すデータを切り分けようとしていることが伺えますが，model.fit()に渡すからには項目をシャッフルしたいですし切り分けて混ぜる，というのは非常にめんどくさいです．

なので，3項目の内1つだけ正規化し他の2項目はいろいろな変換処理をできるようにすることを推奨します．そのためにyieldを使って次のようにジェネレータを定義します．

ここで大事なのは，「yieldで1バッチ分のデータを返す」ということです．これさえ叶えばジェネレータの中身はなんだって良いです．したがって

def myflow(gen: ImageDataGenerator):
    for x, y in gen:
        yield x, y

と書けば何もしないデータジェネレータの完成です．

例えば，ラベルIDが0以外のものy[i] != 0を変換できるように書くと，次のようになります．

def myflow(gen: ImageDataGenerator):
    for x, y in gen:
        for i, _x in enumerate(x):
            if y[i] != 0:
                x[i] = x_datagen_base.apply_transform(
                    _x,
                    x_datagen_partial.get_random_transform(_x.shape)
                )
        yield x, y

x_datagen_baseは正規化のみ，x_datagen_partialは色々な変換処理を組み込みました．
必ずしもx_datagen_partialである必要はなく，1枚の画像変換ができる処理であればなんでも良いです．

その際は独自の変換関数image_transform()などを作成してx[i] = data_transform(x[i])と書くことができます．ImageDataGeneratorに無いような，Random ErasingやCutout，Grid MaskなどさまざまなData Augmentation手法の適用が可能です．

import tensorflow as tf
from tensorflow.python import keras
from keras.preprocessing.image import ImageDataGenerator
import numpy as np

N, W, H, C = 64, 32, 32, 3
x_train = np.random.randint(0, 255, N * W * H * C).reshape(N, W, H, C)
y_train = np.random.randint(0, 3, N).reshape(N, -1)

x_datagen_base = ImageDataGenerator(
    rescale = 1 / 255,
    dtype = np.float64
)

x_datagen_partial = ImageDataGenerator(
    rotation_range = 180,
    fill_mode = "constant",
    vertical_flip = True,
    #brightness_range = [0.7, 1.117],
    horizontal_flip = True,
    dtype = np.float64
)

def myflow(gen: ImageDataGenerator):
    for x, y in gen:
        for i, _x in enumerate(x):
            if y[i] != 0:
                x[i] = x_datagen_base.apply_transform(
                    _x,
                    x_datagen_partial.get_random_transform(_x.shape)
                )
        yield x, y

batch_size = 8
train = x_datagen_base.flow(x_train, y_train, batch_size = batch_size)

model.fit(
    myflow(train),
    batch_size = 8,
    epochs = 50,
    validation_data = (x_valid, y_valid),
    steps_per_epoch = int(x_train.shape[0] / batch_size)
)

brightness_range = [0.7, 1.117],が入っていると変換後全部0になるのでコメントアウトしておきました．適宜変更してください．
最終的にmodel.fit()にはジェネレータmyflow(train)を渡してください．同様に，validationも自作ジェネレータmyflow()を通してmodel.fit()に渡すと良いでしょう．

詳しい扱い方は次の公式サイトを確認してください．
TensorFlow v2.10.0 - tf.keras.preprocessing.image.ImageDataGenerator

追記

予測値y[i]をOne-Hot Encodingしている場合，y[i].argmax()でラベル値を取得する必要がある．

import tensorflow as tf
from tensorflow.python import keras
from keras.preprocessing.image import ImageDataGenerator
from keras.utils import to_categorical
import numpy as np

N, W, H, C = 64, 32, 32, 3
x_train = np.random.randint(0, 255, N * W * H * C).reshape(N, W, H, C)
y_train = np.random.randint(0, 3, N).reshape(N, -1)
y_train = to_categorical(y_train)

x_datagen_base = ImageDataGenerator(
    rescale = 1 / 255,
    dtype = np.float64
)

x_datagen_partial = ImageDataGenerator(
    rotation_range = 180,
    fill_mode = "constant",
    vertical_flip = True,
    #brightness_range = [0.7, 1.117],
    horizontal_flip = True,
    dtype = np.float64
)

def myflow(gen: ImageDataGenerator):
    for x, y in gen:
        for i, _x in enumerate(x):
            if y[i].argmax() != 0: # labelが0以外であれば変換処理
                x[i] = x_datagen_base.apply_transform(
                    _x,
                    x_datagen_partial.get_random_transform(_x.shape)
                )
        yield x, y

batch_size = 8
train = x_datagen_base.flow(x_train, y_train, batch_size = batch_size)

model.fit(
    myflow(train),
    batch_size = 8,
    epochs = 50,
    validation_data = (x_valid, y_valid),
    steps_per_epoch = int(x_train.shape[0] / batch_size)
)

Comments

[semisemi]

回答ありがとうございます。
回答いただいたmyflowを適用してみたところmodel.fitで、
ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()
が出ました。
model.fitには、質問にある該当ソースコードのx_train_generatorのみmyflowを適用しvalidation_dataには正規化のみしたかったため通常の正規化のみ行うジェネレータを適用しています。
validationにもmyflowを少し変えて正規化のみ行うようにするのでしょうか？

[ps_aux_grep]

エラー全文を示していただいていないので不明ですがy[i] != 0で出たもので間違い無いでしょうか．
ここのコメント欄でコードブロックが使えないので，質問を編集いただいて，書いてみたコードとエラー全文を追記いただけると助かります．

多分，y[i].argmax() != 0とかの比較文が正しく動作するものと思われます．
回答に書いたコードは簡単のため，One-Hot Encodingしていないので動いていますた，
もしそちらでOne-Hot Encodingされているのであればそれ用の判定を行う必要があります．

validationには正規化のみ適用したいのであれば，全然それで構いません．

[semisemi]

質問に使用しているコードの追記をいたしましたので読んでいただけると幸いです。

[ps_aux_grep]

model.fitにキーワード引数steps_per_epochを渡してください．値は画像サイズ / バッチサイズを与えてください．回答を編集して書き加えておきましたので参照願います．

[semisemi]

ありがとうございます。無事動くようになったのですが質問させていただきたいです。
今までは、変換された画像を下記のコードで確認していたのですが
gen = x_train_datagen.flow(x_train, batch_size= 2)

for i in range(4):
batches = gen.next()
plt.figure(i)
# ４次元から3次元データにし、配列から画像にする。
gen_img = array_to_img(batches[0])
plt.imshow(gen_img)

plt.show()

myflowを適用させた場合の画像を確認する方法はあるでしょうか？
結果が芳しくなかったので確認したいです。
何度もすみません。

[ps_aux_grep]

gen = myflow(x_train_datagen.flow(x_train, y_train, batch_size= 2))
for i in range(4):
　batches = next(gen)
　plt.figure(i)
　gen_img = array_to_img(batches[0])
　plt.imshow(gen_img)
　plt.show()
で良いと思います．kerasのジェネレータ gen は gen.next() や next(gen) が動かせますが，簡易に自作した今回は後者の next(gen) しか使えないので，このような形になるはずです．(コード記述に当たって全角スペースインデントにしています，注意してください)

ランダムに変換するので，実際にネットワークに与えたものにならない可能性が高いこと注意してください．

[semisemi]

ありがとうございます！
無事画像を確認することはできたのですが、確認したところラベル0に関しては正規化のみできていそうでした。しかし、ラベル1と2のfill_mode = "constant"の部分のみ反映されていないようでした。
fill_mode については変更の方法はございますか？
また、brightness_rangeに関しましてはx_datagen_partialに入っていても0にはならず変化がない状態でした。
こちらを変更したい場合はimagedatageneratorでは難しいのでしょうか？

[ps_aux_grep]

そうですね，apply_transformに出来ることが限られているので自作関数の利用を推奨します．一応ちょっとめんどくさいですがImageDataGeneratorでも書けます

[semisemi]

すみません。
私が、fill_mode="constant"に相当する処理を実装できそうにないためできればImageDataGeneratorで書く方法を教えていただきたいです。

[ps_aux_grep]

動くかわかりませんが，現状の
x[i] = x_datagen_base.apply_transform(_x, x_datagen_partial.get_random_transform(_x.shape))
の代わりに
x[i] = x_datagen_partial.random_transform(x[i])
と書いてしまうのはどうでしょう．正規化のための統計が取れてないので使えない変換がある気がします．

[semisemi]

ありがとうございます。
x[i] = x_datagen_partial.random_transform(x[i])と書くことで、ラベル1,2の輝度値や黒で補完するなどの変換はできたのですがラベル0,1,2の正規化ができていないようでした。
flowする前にx_train = x_train/255.も試したのですができませんでした。

[ps_aux_grep]

じゃあmyflowの中で
x[i] = x_datagen_partial.random_transform(x[i]) / 255
にしたらいいんじゃないでしょうか

[semisemi]

ありがとうございます！
無事したかったことができました。
また、何度も質問させていただいた際に丁寧かつ迅速な回答ありがとうございました。