keras ImageDataGeneratorを用いた時のエラー listdir: embedded null character in path について

Question

CNNを用いた画像認識を勉強しているのですが、ImageDataGeneratorを用いてデータ拡張を行なって画像の学習を行いたいのですが、
listdir: embedded null character in path というエラーが出現してしまい、

エラーへの対処の仕方がわからず困っております。

#CNN　
#X.shape:32*32*3のRGBデータ,17500枚の画像データ(17500, 32, 32, 3) 少数化(1./255)はしていない。
#y:(17500,)の[0,1]の2値データになっております。

from sklearn.model_selection import train_test_split

X_train,X_test,y_train,y_test=train_test_split(X,y,
                                               test_size=0.3,
                                               random_state=0)

#onehot vectorに変換
from keras.utils import np_utils
y_train=np_utils.to_categorical(y_train)
y_test=np_utils.to_categorical(y_test)

#shape
print("X_train:",X_train.shape)
#X_train: (12250, 32, 32, 3)
print("X_test:",X_test.shape)
#X_test: (5250, 32, 32, 3)

from keras.layers import Conv2D,MaxPooling2D,Flatten,Dense
from keras.models import Sequential
from keras.optimizers import Adagrad

model=Sequential()

model.add(Conv2D(32,(3,3),activation="relu",input_shape=(32,32,3)))
model.add(MaxPooling2D((2,2)))
model.add(Conv2D(64,(3,3),activation="relu"))
model.add(MaxPooling2D((2,2)))
model.add(Conv2D(64,(3,3),activation="relu"))
model.add(Flatten())
model.add(Dense(64,activation="relu"))
model.add(Dense(units=n_classes,activation="sigmoid"))
model.summary()
model.compile(loss="binary_crossentropy",optimizer="RMSprop",metrics=["accuracy"])

#データ拡張の導入

from keras.preprocessing.image import ImageDataGenerator

train_datagen=ImageDataGenerator(rotation_range=40,
                                 width_shift_range=0.2,
                                 height_shift_range=0.2,
                                 shear_range=0.2,
                                 horizontal_flip=True,fill_mode="nearest")

test_datagen=ImageDataGenerator(rescale=1./255)

#上記まではエラーは発生しません

#以下のコードにおいてエラーが出現します。

train_generator=train_datagen.flow_from_directory(X_train,target_size(32,32),batch_size=32,class_mode="binary")

validation_generator=test_datagen.flow_from_directory(X_test,
                                                      target_size=(32,32),
                                                      batch_size=32,
                                                      class_mode="binary")

model.fit_generator(train_generator,steps_per_epoch=2000,epochs=50,
                   validation_data=validation_generator,validation_steps=800)

#上記を出力すると、

/anaconda3/lib/python3.6/site-packages/keras_preprocessing/image.py in __init__(self, directory, image_data_generator, target_size, color_mode, classes, class_mode, batch_size, shuffle, seed, data_format, save_to_dir, save_prefix, save_format, follow_links, subset, interpolation, dtype)
   1873         if not classes:
   1874             classes = []
-> 1875             for subdir in sorted(os.listdir(directory)):
   1876                 if os.path.isdir(os.path.join(directory, subdir)):
   1877                     classes.append(subdir)

ValueError: listdir: embedded null character in path

コード

上記のエラーが出現します。
ImageDataGenratorを用いず、Xを1./255で少数化および正規化を行なって、CNNでの分類を行なった際には動作しているため、nullはないと思うのですが、
ImageDataGeneratorの使い方が間違っているのでしょうか。

アドバイスいただけますと幸いです。
よろしくお願いいたします。

Comments

[tiitoi]

flow_from_directory() の第一引数にはデータセットがあるディレクトリを指定するはずですが、質問のコードでは配列が指定されているのはおかしくないでしょうか。
https://keras.io/ja/preprocessing/image/

[yohehe]

tiitoi様、ご指摘ありがとうございます。
リンクを読むと、引数のディレクトリの指定が配列になっていました。
io.imread()で画像データを読み込んでいる場合は、リンクにあるように.flow(X,y)の方を用いてコードを修正します。

[tiitoi]

> flow(X,y)の方を用いてコードを修正します。

その方針でよいと思います。

[yohehe]

tiitoi様、flow(X,y)に設定し直して、エラーなく動作し始めました。動作の検証をして解決済にしようと思います。
ありがとうございました。

Answer 1

from sklearn.model_selection import train_test_split

X_train,X_test,y_train,y_test=train_test_split(X,y,
                                               test_size=0.3,
                                               random_state=0)

#onehot-vector
from keras.utils import np_utils
y_train=np_utils.to_categorical(y_train)
y_test=np_utils.to_categorical(y_test)

#データ拡張を導入する場合にもCNNのコンパイルまでは通常通り行う。

from keras.preprocessing.image import ImageDataGenerator

train_datagen=ImageDataGenerator(rotation_range=40,
                                 width_shift_range=0.2,
                                 height_shift_range=0.2,
                                 shear_range=0.2,
                                 horizontal_flip=True,fill_mode="nearest")

train_datagen.fit(X_train)
model.fit_generator(train_datagen.flow(X_train,y_train,batch_size=32),
                   steps_per_epoch=len(X_train)/32,epochs=10)


#epochsなどは動作確認のため適当ですが、上記で動作し始めました。

#flow_from_directoryを用いる場合は、array化されたデータではなく、画像データのディレクトリを指定する部分が間違っておりました。
train_datagen.flow_from_directory(X_train,target_size(32,32),batch_size=32,class_mode="binary")