NameError: name 'X_train' is not defined`の解消方法について

Question

前提・実現したいこと

以下のサンプルコードを参考に、自前のデータセットで実装をしたいと考えています。
サンプルコード

サンプルコードではfit関数を使っていましたが、自前のデータセットが大容量のため、fit_generator関数に書き換え実行したところ、以下のようなエラーが発生してしまいました。
とても基本的な質問となってしまいますが、generatorを使って学習を行う場合、どうすればX_trainやY_trainを定義できるのかご教示いただけないでしょうか。

説明に不足している点がありましたらお手数ですがお知らせいただけますと幸いです。
どうぞよろしくお願いいたします。

発生している問題・エラーメッセージ

NameError                                 Traceback (most recent call last)
<ipython-input-12-c5e53abddd3d> in <module>
      5     #L2-SoftmaxLoss
      6     print("L2-SoftmaxLoss training...")
----> 7     model0 = train_L2(X_train, to_categorical(Y_train), 4, 50)
      8 
      9     # roc graph

NameError: name 'X_train' is not defined

該当のソースコード

import keras
from keras.models import Model
from keras.layers import Dense, GlobalAveragePooling2D,Input,Dropout,Activation
from keras import applications
from keras.preprocessing.image import ImageDataGenerator
from keras.optimizers import Adam
from keras.callbacks import CSVLogger,EarlyStopping
import numpy as np
from keras import backend as K
from keras.engine.topology import Layer
import numpy as np
import tensorflow as tf
from keras.preprocessing.image import load_img, img_to_array, array_to_img
import os
import matplotlib.pyplot as plt
%matplotlib inline

os.environ["CUDA_VISIBLE_DEVICES"]="2"#specify GPU

#学習データの準備
class train_Generator_xandy(object): # rule1
    def __init__(self):
        datagen = ImageDataGenerator(rescale=1.0/255.)
        
        train_generator=datagen.flow_from_directory(
          train_dir,
          target_size=(299,299),
          batch_size=12,#25,
          class_mode='categorical',
          shuffle=True)
        
        self.gene = train_generator
        
    def __iter__(self):
    # __next__()はselfが実装してるのでそのままselfを返す
        return self
    
    def __next__(self): 
        X, Y = self.gene.next()
        return X, Y
    
class val_Generator_xandy(object):
    def __init__(self):
        validation_datagen=ImageDataGenerator(rescale=1.0/255.)
        
        validation_generator=validation_datagen.flow_from_directory(
            validation_dir,
            target_size=(299,299),
            batch_size=12,#25,
            class_mode='categorical',
            shuffle=True)
            
        self.gene = validation_generator
        
    def __iter__(self):
    # __next__()はselfが実装してるのでそのままselfを返す
        return self
            
    def __next__(self): 
        X, Y = self.gene.next()
        return X, Y
    

train_dir = './train'
validation_dir = './validation'
train_generator = train_Generator_xandy()
val_generator = val_Generator_xandy()

#model構築
input_shape = (299, 299, 3)

classes = 4#10
batchsize = 12#128
#alpha = 0.5
def train_L2(x, y, classes, epochs, batchsize=12):
    base_model=keras.applications.inception_resnet_v2.InceptionResNetV2(input_shape=input_shape,
                       weights='imagenet',
                       include_top=False)
    
    c = base_model.output
    c = GlobalAveragePooling2D()(c)
    c = keras.layers.Lambda(lambda xx: 5*(xx)/K.sqrt(K.sum(xx**2)))(c) #metric learning
    c = Dense(classes, activation='softmax')(c)
    model = Model(inputs=base_model.input,outputs=c)

    #model.summary()

    model.compile(loss='categorical_crossentropy',
                  #optimizer=Adam(lr=0.001),
              #optimizer=SGD(lr=0.01, decay=1e-6, momentum=0.9),
              optimizer=SGD(lr=5e-4, decay=0.00005),
                  metrics=['accuracy'])
    
    callbacks_list = [
        callbacks.ModelCheckpoint(
        filepath="model.simple.InceptionResNetV2.P5.SGD.a0.5.ep{epoch:02d}.h5",#delsavepath,
        save_weights_only=False,
        save_best_only=True),
    
       callbacks.EarlyStopping(monitor='val_loss', patience=5, verbose=1)]
    
    
    history = model.fit_generator(train_generator, steps_per_epoch=8072, epochs=30, 
                               validation_steps=952, validation_data=validation_generator, 
                               callbacks=callbacks_list)
    
    return model

def plot_roc(model0, train, test_normal, test_anomaly, name, layer1, layer2, layer3, layer4, layer5):
    #層削除 get score
    Z1_1, Z2_1 = model_modify(model0, train, test_normal, test_anomaly, layer1)
    Z1_2, Z2_2 = model_modify(model0, train, test_normal, test_anomaly, layer2)
    Z1_3, Z2_3 = model_modify(model0, train, test_normal, test_anomaly, layer3)
    Z1_4, Z2_4 = model_modify(model0, train, test_normal, test_anomaly, layer4)
    Z1_5, Z2_5 = model_modify(model0, train, test_normal, test_anomaly, layer5)

    auc1 = roc(Z1_1, Z2_1, "L2 SoftmaxLoss")
    auc2 = roc(Z1_2, Z2_2, "block_16_project_BN")
    auc3 = roc(Z1_3, Z2_3, "block_14_project_BN")
    auc4 = roc(Z1_4, Z2_4, "block_12_project_BN")
    auc5 = roc(Z1_5, Z2_5, "block_10_project_BN")
    plt.legend()
    plt.title(name + '(ROC)')
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.grid(True)

    return auc1, auc2, auc3, auc4, auc5, Z2_3 # 異常サンプルだけあとで可視化

#学習
result1, result2, result3, result4, result5,  = [], [], [], [], []

for i in range(10):
    print("Try:",i+1,"/10")
    #L2-SoftmaxLoss
    print("L2-SoftmaxLoss training...")
    model0 = train_L2(X_train, to_categorical(Y_train), 4, 50)
 

Comments

[meg_]

・リンクは「リンクの挿入」で書いてください。
・「NameError: name 'X_train' is not defined」エラーメッセージの意味は理解されていますか？

[SuzuAya]

>meg_様
ご指摘ありがとうございます。リンクの挿入方法を修正しました。
X_trainが定義されていないからこういったエラーが出るのだということは理解しているのですが、generatorを使用している場合、どのように定義したら良いか分からずこちらに質問をさせていただきました。

Answer 1

【追記】
今回のジェネレータは「keras.utils.data_utils.Sequenceを実装したクラス」であることが必要なようです。
参考サイト

上記サイトにてメモリに乗り切らない大きなデータのKerasでの処理方法が説明されています。
参考に実装してください。

【追記終了】

ジェネレータを生成して「fit_generator()」に渡せばよいかと思います。

参考サイト

train_generator = train_Generator_xandy()
val_generator = val_Generator_xandy()

Comments

[SuzuAya]

>meg_様
ご回答ありがとうございます。
質問が分かりにくくて申し訳ないのですが、エラーが発生しているtrain_L2の引数をどうすればよいのか教えていただけないでしょうか。
試しにX_trainの代わりに、train_generatorを引数にすると、AttributeError: 'DirectoryIterator' object has no attribute 'ndim'というエラーが出てしまいます。

[SuzuAya]

>meg_様
ご回答ありがとうございました。お送りいただいたサイトも参考にしながら、もう少し調べてみます。