cnn 簡単な画像認識について

Question

cnnによるcifar-10の画像認識モデルをもとに自分のローカルに保存した画像で画像判定ができるかどうかについて実験しています。

cigar-10の学習モデルは参考書（pythonによるAI機械学習・深層学習アプリの作り方）に掲載されているものを実行しています。

オリジナルのモデル（ほとんどcifar10のモデルと同じ）でcifar-10の画像をローカルに保存し、学習させていますが、cifar-10モデル（参考書）のように学習がすすまず、思い通りの判定が出ません。

こちらが参考書に掲載されているcifar-10のモデルです

import matplotlib.pyplot as plt
import keras
from keras.datasets import cifar10
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation, Flatten
from keras.layers import Conv2D, MaxPooling2D

num_classes = 10
im_rows = 32
im_cols = 32
in_shape = (im_rows, im_cols, 3)

# データを読み込む --- (*1)
(X_train, y_train), (X_test, y_test) = cifar10.load_data()

# データを正規化 --- (*2)
X_train = X_train.astype('float32') / 255
X_test = X_test.astype('float32') / 255
# ラベルデータをOne-Hot形式に変換
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

# モデルを定義 --- (*3)
model = Sequential()
model.add(Conv2D(32, (3, 3), padding='same',
                 input_shape=in_shape))
model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes))
model.add(Activation('softmax'))

# モデルをコンパイル --- (*4)
model.compile(
    loss='categorical_crossentropy',
    optimizer='adam',
    metrics=['accuracy'])

# 学習を実行 --- (*5)
hist = model.fit(X_train, y_train,
    batch_size=32, epochs=1,
    verbose=1,
    validation_data=(X_test, y_test))

# モデルを評価 --- (*6)
score = model.evaluate(X_test, y_test, verbose=1)
print('正解率=', score[1], 'loss=', score[0])

# 学習の様子をグラフへ描画 --- (*7)
plt.plot(hist.history['acc'])
plt.plot(hist.history['val_acc'])
plt.title('Accuracy')
plt.legend(['train', 'test'], loc='upper left')
plt.show()
plt.plot(hist.history['loss'])
plt.plot(hist.history['val_loss'])
plt.title('Loss')
plt.legend(['train', 'test'], loc='upper left')
plt.show()

#Using TensorFlow backend.
#Train on 50000 samples, validate on 10000 samples
#Epoch 1/1
#50000/50000 [==============================] - 583s 12ms/step - loss: #1.5373 - acc: 0.4363 - val_loss: 1.2501 - val_acc: 0.5468
#10000/10000 [==============================] - 24s 2ms/step
#正解率= 0.5468 loss= 1.2501147895812987

これがオリジナルで少し手を加えたモデルです。

import matplotlib.pyplot as plt
import keras
from keras.datasets import cifar10
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras.preprocessing.image import ImageDataGenerator

batch_size = 32
num_classes = 10
im_rows = 32
im_cols = 32
in_shape = (im_rows, im_cols, 3)
epochs = 1

# モデルを定義 --- (*3)
model = Sequential()
model.add(Conv2D(32, (3, 3), padding='same',
                 input_shape=in_shape))
model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))#64
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes))
model.add(Activation('softmax'))

# モデルをコンパイル --- (*4)
model.compile(
    loss='categorical_crossentropy',
    optimizer='adam',
    metrics=['accuracy'])

train_datagen = ImageDataGenerator(
    rescale=0)
    
test_datagen = ImageDataGenerator(rescale=0)


train_generator = train_datagen.flow_from_directory
    'user/data/train',
    target_size=(32, 32),
    batch_size=batch_size,
    class_mode='categorical')

validation_generator = test_datagen.flow_from_directory(
    'user/data/test',
    target_size=(32, 32),
    batch_size=batch_size,
    class_mode='categorical')


history = model.fit_generator(
    train_generator,
    samples_per_epoch=200,
    nb_epoch=epochs,
    validation_data=validation_generator,
    nb_val_samples=200)

#Using TensorFlow backend.
#Found 50000 images belonging to 10 classes.
#Found 10000 images belonging to 10 classes.
#6/6 [==============================] - 13s 2s/step - loss: 2.3368 - acc: #0.0781 - val_loss: 2.3057 - val_acc: 0.1045

traindataとtestdataは同じものなのですが、オリジナルモデルでは6/6しか学習できていないのですが、なぜなのかわかりません、、、

また参考書のcifar-10の判別モデルに自分のローカルデータを当てはめるにはどうしたらいいでしょうか？

特に

データを読み込む --- (*1)
(X_train, y_train), (X_test, y_test) = cifar10.load_data()

をどのように変えたらいいのかわかりません。

教えていただきたいです。宜しくお願い致します。

Answer 1

オリジナルモデルでは6/6しか学習できていないのですが

test_datagen.flow_from_directory() にパラメータとして batch_size=32 を渡しており、model.fit_generator() のパラメータsamples_per_epoch=200 にてEPOCKあたりのサンプル数を200と設定しているため、結果として 200/32=6 回のバッチ処理が行われているのかと思います。

cifar-10の判別モデルに自分のローカルデータを当てはめるには

現状のオリジナルモデルの方法でなにか問題があるのですか？

Comments

[22Go]

ありがとうございます。epoch/batchなんですね！オリジナルモデルでの実行ができました！
ですが参考書のモデルはbatch_size=32.epoch=1となっているのですが、どうゆうことなのでしょうか？
オリジナルモデルをできるかぎり参考書のモデルに近づけたいので、どうにかしてできないものかと思い質問させていただきました。

[magichan]

ざっと見る限り、変更前・後の大きな違いは２点
・オリジナルでは``fit()``関数で学習させておりますので、データのサンプル数は画像の枚数(5000)となっておりますが、変更後の``fit_generator()``の場合はサンプル数を明示的に指定する必要があります。で、この値が samples_per_epoch=200 となっております。
・オリジナルでは各画像を正規化 (*2) しており、各データの範囲が（0.～1.）となっておりますが、変更後は正規化を無効 (rescale=0)となっております。

[magichan]

あと学習時のインジケータですが、fit()関数では sample数でカウントされ、 fit_generator()関数では batch数でカウントされているようですので、気をつける必要がありそうです。