UnidentifiedImageError: cannot identify image fileのエラーに関して

Question

お世話になります。
現在、機械学習に興味があり勉強中です。

tensorflowとKerasを用いての基礎的な学習を試し、現在自分のデータを使用して試しています。

ImageDataGenerorを使ったラベル設定の仕方を参考に、初心者ながらプログラムしてみました。

行おうとしているのは多クラス分類で、CNNを用いた学習を試みています。

実行してみたのですが、
UnidentifiedImageError: cannot identify image file <_io.BytesIO object at 0x7f3485b360>

というエラーで詰まっています。

エラー名で調べたのですが、はっきりとした解決手段がわかりません。

心当たりなどががあれば教えていただきたいです。

何卒ご教示のほどお願い申し上げます。

参考にさせていただいたサイト:
( https://qiita.com/yakisobamilk/items//686d6ad5ae3285aec639 )

<フォルダ構成>
picture -╷- train -╷- 001(分類1) -╷- **.png #学習用
╎ ╎ 　 ╎ (多数の画像・・省略)
╎ ╎ 　 ╵- **.png
╎ ╵- 002(分類2) - (略)
╎ :
╎ ╵- 010(分類10) - (略)
╎
╵- val -╷- 001(分類1) - (略) #学習検証用
╵- 002(分類2) - (略)
:
- 010(分類10) - (略)

#import 省略
base_dir = ./picture

train_dir = os.path.join(base_dir, 'traindata')
validation_dir = os.path.join(base_dir, 'testdata')


train_datagen = ImageDataGenerator(rescale=1.0/255)
val_datagen = ImageDataGenerator(rescale=1.0/255)

train_generator = train_datagen.flow_from_directory(
    train_dir,
    target_size=(128, 88),
    color_mode='grayscale',
    batch_size=20,
    class_mode='categorical')
    
validation_generator = val_datagen.flow_from_directory(
    validation_dir,
    target_size=(128, 88),
    color_mode='grayscale',
    batch_size=20,
    class_mode='categorical')



model = models.Sequential()
model.add(layers.Reshape((128, 88, 1), input_shape=(128*88,), name='reshape'))
model.add(layers.Conv2D(18, (7, 7), padding='same',
                        kernel_initializer=initializers.TruncatedNormal(),
                        use_bias=True, activation='relu',
                        name='conv_filter1'))
model.add(layers.MaxPooling2D((2, 2), name='max_pooling1', strides=2))
model.add(layers.Conv2D(45, (5, 5), padding='same',
                        kernel_initializer=initializers.TruncatedNormal(),
                        use_bias=True, activation='relu',
                        name='conv_filter2'))
model.add(layers.MaxPooling2D((3, 3), name='max_pooling2',strides=2))
model.add(layers.Flatten(name='flatten'))
model.add(layers.Dense(1024, activation='relu',
                       kernel_initializer=initializers.TruncatedNormal(),
                       name='hidden'))
model.add(layers.Dropout(rate=0.5, name='dropout'))
model.add(layers.Dense(10182, activation='softmax', name='softmax'))

model.summary()




model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['acc'])



history = model.fit(train_generator,
                    validation_data=validation_generator,
                    batch_size=128, epochs=10)

Answer 1

base_dir = ...
を文字列に

参考
機械学習でオバマとスモーリングを判別したい-後編-
の「2.1. ディレクトリの作成」のコード

【追記】もう一つありました
「'traindata'」と「'testdata'」を、実際のフォルダ名に合わせて変える
それも、上記Webページを参照してください

【追記2】さらにもう一つありました
お書きになってるコードでのデータの準備のやり方の場合は、model.fit()ではなくmodel.fit_generator()を使います
それも、上記Webページを参照してください

Comments

[kosakana_fav]

回答ありがとうございます。
この参考サイトの2.1のように、画像のあるディレクトリに対して
os.path.joinを行う必要があるのでしょうか?

[jbpb0]

「base_dir =」の右が文字列になってません
「’」か「”」を前後に挿入する(囲う)と文字列になります
https://www.atmarkit.co.jp/ait/spv/1904/16/news013.html#strbasicrepr

【追記】最初に回答に書いたのは上記の意味でしたが、「train_dir」と「validation_dir」で指定してるフォルダ名を「’train’」とかの実際のに合わせる必要もあります
回答にも追記しました

[jbpb0]

回答で参考に紹介したWebページのコードで、下記の部分は無視してください
test_dir = os.path.join(base_dir, 'test')
train_smalling = os.path.join(train_dir, 'smalling')
valid_smalling = os.path.join(valid_dir, 'smalling')
test_smalling = os.path.join(test_dir, 'smalling')
train_obama = os.path.join(train_dir, 'obama')
valid_obama = os.path.join(valid_dir, 'obama')
test_obama = os.path.join(test_dir, 'obama')

[jbpb0]

model.fit_generator()の「steps_per_epoch」と「validation_steps」は、指定しなくても大丈夫です
指定しなければ、どちらも自動的に
データ数/バッチサイズ
になるはず

[kosakana_fav]

細かく教えていただきありがとうございます!

文字列の件とmodel.fit件、修正しました。
ディレクトリ名に関しては表記ミスでした。

修正の後、走らせてみたのですが、
エラーの内容は変わりませんでした汗

もう少し細かく調べてみます。
ありがとうございます。

Answer 2

原因が分かりましたのでここに記載します．

まずは，jbpb0氏の回答に書かれていたこと，

もう一つは隠しファイルが問題でした．
隠しファイルを削除すれば解決できました．

ありがとうございました．

Comments

[jbpb0]

私が回答に書いた内容(model.fit()ではなくmodel.fit_generator()を使う等)をやった上で、隠しファイルを削除したらうまくいった、ということですか？

[kosakana_fav]

そうなります。
教えていただいたmodel.fit_generator()を使っていなかったのが一点
根本的な部分として、隠しファイルが存在しており、学習の際に
エラーの原因となっていたことになります。

[jbpb0]

ネット検索してたどり着いた人はたいていベストアンサーしか見ないので、私が回答に書いた「必ずやらないといけないこと」が見落とされますので、回答に一言「jbpb0の回答に書かれていたことに加え」みたいに書いといてください
こういうサイトの情報は、質問した本人だけじゃなく、同様な悩みをかかえた多くの人にも参照され活かされる、という意味もありますので

[kosakana_fav]

ご指摘ありがとうございます。
修正させていただきました。

[jbpb0]

ありがとうございます