質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.78%

keras ImageDataGeneratorを用いた時のエラー listdir: embedded null character in path について

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 1,018

yohehe

score 48

CNNを用いた画像認識を勉強しているのですが、ImageDataGeneratorを用いてデータ拡張を行なって画像の学習を行いたいのですが、
listdir: embedded null character in path というエラーが出現してしまい、

エラーへの対処の仕方がわからず困っております。

#CNN 
#X.shape:32*32*3のRGBデータ,17500枚の画像データ(17500, 32, 32, 3) 少数化(1./255)はしていない。
#y:(17500,)の[0,1]の2値データになっております。

from sklearn.model_selection import train_test_split

X_train,X_test,y_train,y_test=train_test_split(X,y,
                                               test_size=0.3,
                                               random_state=0)

#onehot vectorに変換
from keras.utils import np_utils
y_train=np_utils.to_categorical(y_train)
y_test=np_utils.to_categorical(y_test)

#shape
print("X_train:",X_train.shape)
#X_train: (12250, 32, 32, 3)
print("X_test:",X_test.shape)
#X_test: (5250, 32, 32, 3)

from keras.layers import Conv2D,MaxPooling2D,Flatten,Dense
from keras.models import Sequential
from keras.optimizers import Adagrad

model=Sequential()

model.add(Conv2D(32,(3,3),activation="relu",input_shape=(32,32,3)))
model.add(MaxPooling2D((2,2)))
model.add(Conv2D(64,(3,3),activation="relu"))
model.add(MaxPooling2D((2,2)))
model.add(Conv2D(64,(3,3),activation="relu"))
model.add(Flatten())
model.add(Dense(64,activation="relu"))
model.add(Dense(units=n_classes,activation="sigmoid"))
model.summary()
model.compile(loss="binary_crossentropy",optimizer="RMSprop",metrics=["accuracy"])

#データ拡張の導入

from keras.preprocessing.image import ImageDataGenerator

train_datagen=ImageDataGenerator(rotation_range=40,
                                 width_shift_range=0.2,
                                 height_shift_range=0.2,
                                 shear_range=0.2,
                                 horizontal_flip=True,fill_mode="nearest")

test_datagen=ImageDataGenerator(rescale=1./255)

#上記まではエラーは発生しません

#以下のコードにおいてエラーが出現します。

train_generator=train_datagen.flow_from_directory(X_train,target_size(32,32),batch_size=32,class_mode="binary")

validation_generator=test_datagen.flow_from_directory(X_test,
                                                      target_size=(32,32),
                                                      batch_size=32,
                                                      class_mode="binary")

model.fit_generator(train_generator,steps_per_epoch=2000,epochs=50,
                   validation_data=validation_generator,validation_steps=800)

#上記を出力すると、

/anaconda3/lib/python3.6/site-packages/keras_preprocessing/image.py in __init__(self, directory, image_data_generator, target_size, color_mode, classes, class_mode, batch_size, shuffle, seed, data_format, save_to_dir, save_prefix, save_format, follow_links, subset, interpolation, dtype)
   1873         if not classes:
   1874             classes = []
-> 1875             for subdir in sorted(os.listdir(directory)):
   1876                 if os.path.isdir(os.path.join(directory, subdir)):
   1877                     classes.append(subdir)

ValueError: listdir: embedded null character in path

コード

上記のエラーが出現します。
ImageDataGenratorを用いず、Xを1./255で少数化および正規化を行なって、CNNでの分類を行なった際には動作しているため、nullはないと思うのですが、
ImageDataGeneratorの使い方が間違っているのでしょうか。

アドバイスいただけますと幸いです。
よろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • tiitoi

    2019/05/27 18:38

    flow_from_directory() の第一引数にはデータセットがあるディレクトリを指定するはずですが、質問のコードでは配列が指定されているのはおかしくないでしょうか。
    https://keras.io/ja/preprocessing/image/

    キャンセル

  • yohehe

    2019/05/27 18:49

    tiitoi様、ご指摘ありがとうございます。
    リンクを読むと、引数のディレクトリの指定が配列になっていました。
    io.imread()で画像データを読み込んでいる場合は、リンクにあるように.flow(X,y)の方を用いてコードを修正します。

    キャンセル

  • tiitoi

    2019/05/27 18:56

    > flow(X,y)の方を用いてコードを修正します。

    その方針でよいと思います。

    キャンセル

  • yohehe

    2019/05/27 19:00

    tiitoi様、flow(X,y)に設定し直して、エラーなく動作し始めました。動作の検証をして解決済にしようと思います。
    ありがとうございました。

    キャンセル

回答 1

check解決した方法

0

from sklearn.model_selection import train_test_split

X_train,X_test,y_train,y_test=train_test_split(X,y,
                                               test_size=0.3,
                                               random_state=0)

#onehot-vector
from keras.utils import np_utils
y_train=np_utils.to_categorical(y_train)
y_test=np_utils.to_categorical(y_test)

#データ拡張を導入する場合にもCNNのコンパイルまでは通常通り行う。

from keras.preprocessing.image import ImageDataGenerator

train_datagen=ImageDataGenerator(rotation_range=40,
                                 width_shift_range=0.2,
                                 height_shift_range=0.2,
                                 shear_range=0.2,
                                 horizontal_flip=True,fill_mode="nearest")

train_datagen.fit(X_train)
model.fit_generator(train_datagen.flow(X_train,y_train,batch_size=32),
                   steps_per_epoch=len(X_train)/32,epochs=10)


#epochsなどは動作確認のため適当ですが、上記で動作し始めました。

#flow_from_directoryを用いる場合は、array化されたデータではなく、画像データのディレクトリを指定する部分が間違っておりました。
train_datagen.flow_from_directory(X_train,target_size(32,32),batch_size=32,class_mode="binary")

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.78%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る