CNNの比較、改善点

Question

知りたいこと

cyfer10に使用したCNNでなぜこのような差が出たのか、してはいけないことが含まれていたのか。
aidemyに使われていたCNNと層よりも、より層を増やして適当に作った自作CNNが明らかに精度が悪い。

学習結果

//モデル定義
model = Sequential()
model.add(Conv2D(32, (3, 3), padding='same',
input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPool2D(pool_size=(2, 2)))
model.add(Dropout(0.5))

model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPool2D(pool_size=(2, 2)))
model.add(Dropout(0.5))

model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(10))
model.add(Activation('softmax'))

//コンパイル
model.compile(optimizer='adam',
loss='categorical_crossentropy',
metrics=['accuracy'])

//学習
fit = model.fit(X_train, Y_train,
batch_size=32,
epochs=50,
verbose=1,
validation_split=0.3
)

![イメージ説明](a545e87427558a35e3f9374a0e1ddb4a.png)

//モデル定義
ori1 = Sequential()
ori1.add(Conv2D(256, (3, 3), padding='same', input_shape=X_train.shape[1:]))
ori1.add(Activation("relu"))
ori1.add(Conv2D(256, (3, 3)))
ori1.add(Dropout(0.5))
ori1.add(Activation("relu"))
ori1.add(MaxPool2D(pool_size=(2, 2)))
ori1.add(Dropout(0.5))

ori1.add(Conv2D(128, (3, 3)))
ori1.add(Activation("relu"))
ori1.add(Dropout(0.5))
ori1.add(Conv2D(128, (3, 3)))
ori1.add(Activation("relu"))
ori1.add(MaxPool2D(pool_size=(2, 2)))
ori1.add(Dropout(0.5))

ori1.add(Conv2D(32, (3, 3)))
ori1.add(Activation("relu"))
ori1.add(Dropout(0.5))
ori1.add(Conv2D(32, (3, 3)))
ori1.add(Activation("relu"))

ori1.add(Flatten())
ori1.add(Dense(512))
ori1.add(Activation('relu'))
ori1.add(Dropout(0.5))
ori1.add(Dense(256))
ori1.add(Activation('relu'))
ori1.add(Dropout(0.5))
ori1.add(Dense(10))
ori1.add(Activation("softmax"))

//コンパイル
ori1.compile(optimizer="adam",
loss="categorical_crossentropy",
metrics=["accuracy"])

//学習
fit_ori1 = ori1.fit(X_train, Y_train,
batch_size=32,
epochs=50,
verbose=1,
validation_split=0.3
)

ダメな部分

してはいけないこと、推奨されていないことをしてしまっている、このdropoutやmaxpoolingの位置や数字、層の順序やパラメータで明らかに間違っている等があれば教えていただきたいです。よろしくお願いします。

改善したCNN

ori2 = Sequential()
ori2.add(Conv2D(32, (3, 3), padding='same', input_shape=X_train.shape[1:]))
ori2.add(Activation("relu"))
ori2.add(Conv2D(32, (3, 3)))
ori2.add(Dropout(0.5))
ori2.add(Activation("relu"))
ori2.add(MaxPool2D(pool_size=(2, 2)))
ori2.add(Dropout(0.5))

ori2.add(Conv2D(32, (3, 3)))
ori2.add(Activation("relu"))
ori2.add(Dropout(0.5))
ori2.add(Conv2D(32, (3, 3)))
ori2.add(Activation("relu"))
ori2.add(MaxPool2D(pool_size=(2, 2)))
ori2.add(Dropout(0.5))

ori2.add(Conv2D(32, (3, 3)))
ori2.add(Activation("relu"))
ori2.add(Dropout(0.5))
ori2.add(Conv2D(32, (3, 3)))
ori2.add(Activation("relu"))

ori2.add(Flatten())
ori2.add(Dense(512))
ori2.add(Activation('relu'))
ori2.add(Dropout(0.5))
ori2.add(Dense(256))
ori2.add(Activation('relu'))
ori2.add(Dropout(0.5))
ori2.add(Dense(10))
ori2.add(Activation("softmax"))

Conv32固定だとダメな模様？

### ori3 Dropoutを徐々に増加、batch_sizeを大きめに100に変更
ori3 = Sequential()
ori3.add(Conv2D(32, (3, 3), padding='same', input_shape=X_train.shape[1:]))
ori3.add(Activation("relu"))
ori3.add(Conv2D(32, (3, 3)))
ori3.add(Dropout(0.1))
ori3.add(Activation("relu"))
ori3.add(MaxPool2D(pool_size=(2, 2)))
ori3.add(Dropout(0.1))

ori3.add(Conv2D(64, (3, 3)))
ori3.add(Activation("relu"))
ori3.add(Dropout(0.2))
ori3.add(Conv2D(64, (3, 3)))
ori3.add(Activation("relu"))
ori3.add(MaxPool2D(pool_size=(2, 2)))
ori3.add(Dropout(0.2))

ori3.add(Conv2D(128, (3, 3)))
ori3.add(Activation("relu"))
ori3.add(Dropout(0.3))
ori3.add(Conv2D(128, (3, 3)))
ori3.add(Activation("relu"))

ori3.add(Flatten())
ori3.add(Dense(512))
ori3.add(Activation('relu'))
ori3.add(Dropout(0.4))
ori3.add(Dense(256))
ori3.add(Activation('relu'))
ori3.add(Dropout(0.5))
ori3.add(Dense(10))
ori3.add(Activation("softmax"))

77%くらいまで上昇しました。90%とかそこまでは求めないとしても、80%とかどうやって出すんでしょう。

Comments

[wakame]

https://teratail.com/help/question-tips#questionTips3-5

[wakame]

上のリンクを参考にソースコードを``` ```で囲むようにしてください。

Answer 1

いつも Aidemy をご利用いただきありがとうございます。Aidemy 技術顧問の木村です。

以下のように書き換えることで80%以上の精度を出すことができます。
ポイントは２点です。

• 各層にBatchNormalization を用いる
• FlattenのかわりにGlobalAveragePooling を用いる

import keras
from keras.datasets import cifar10
from keras.layers import Conv2D, Activation, Dense, Dropout, MaxPooling2D
from keras.layers.normalization import BatchNormalization
from keras.models import Sequential, load_model
from keras.layers.pooling import GlobalAveragePooling2D
from keras.utils.np_utils import to_categorical
import numpy as np
import matplotlib.pyplot as plt

# データのロード
(X_train, y_train), (X_test, y_test) = cifar10.load_data()

y_train = to_categorical(y_train)
y_test = to_categorical(y_test)

# モデルの定義
model = Sequential()
model.add(Conv2D(64, (3, 3), padding='same',
                 input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(BatchNormalization())
model.add(Dropout(0.25))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(BatchNormalization())
model.add(Dropout(0.25))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(BatchNormalization())
model.add(Dropout(0.25))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(BatchNormalization())
model.add(Dropout(0.25))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(BatchNormalization())
model.add(Dropout(0.25))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(GlobalAveragePooling2D())
model.add(Dense(10))
model.add(Activation('softmax'))

# コンパイル
opt = keras.optimizers.rmsprop(lr=0.0001, decay=1e-6)
model.compile(loss='categorical_crossentropy',
              optimizer=opt,
              metrics=['accuracy'])

# 学習
model.fit(X_train, y_train, batch_size=32, epochs=50, validation_data=[X_test, y_test], shuffle=True)

# 重みの保存をする場合には以下を使います。ここでは実行できません。
# model.save_weights('param_cifar10.hdf5')

# 精度の評価
scores = model.evaluate(X_test, y_test, verbose=1)
print('Test loss:', scores[0])
print('Test accuracy:', scores[1])

# データの可視化（テストデータの先頭の10枚）
for i in range(10):
    plt.subplot(2, 5, i+1)
    plt.imshow(X_test[i])
plt.suptitle("テストデータの先頭の10枚",fontsize=20)
plt.show()

# 予測（テストデータの先頭の10枚）
pred = np.argmax(model.predict(X_test[0:10]), axis=1)
print(pred)

model.summary()

BatchNormalization、GlobalAveragePooling についてはAidemyでまだ教えておりませんので、
以下を参考にしてください。今後、Aidemyの講座でも取り扱われる予定です。

• https://deepage.net/deep_learning/2016/10/26/batch_normalization.html
• https://qiita.com/mine820/items/1e49bca6d215ce88594a

以上です。今後ともAidemyをよろしくお願いいたします。

Comments

[yukkys]

コメントありがとうございます！まさかのaidemyの顧問の方とは。。BatchNormalizationは学習速度上げるためのものだと思っていたんですが、精度向上にも役立つのですね。GlobalAveragePoolingは初耳で参考URLを読ませていただきました。こちらこそ、今後ともよろしくお願いいたします。

Answer 2

（偏りの少ないデータに対して、）batch_sizeを小さくして、それにともなって学習率を下げると精度が上がったりします。

Comments

[yukkys]

コメントありがとうございます！batch_sizeは大きい方が学習速度速いしいいんじゃないかと思ってたんですが、小さくして局所解を避けつつ最適解に近づくみたいなイメージでしょうか。

Answer 3

精度上げたいなら訓練用のデータセットを増やすのが早いかなと思いました。

あとはWhat is the class of this image ?
こちらののリンクのcifar10上位のスコアを取っているモデルを参考にするとか？（リンク先のモデルを作れるなら精度をあげるという目的は解決できている気がしますが・・・）

Comments

[yukkys]

コメントありがとうございます！データの水増しですね。これも書籍で見てはいたもののやってはいなかったのでやってみます！

そちらのリンクを少し見て、dropoutの数値を徐々に増やしていくみたいなの参考にさせてもらったりしました！あとは複数のモデル使うのが強いですね。

Answer 4

カーネルサイズを32にするとどうでしょうか

Comments

[yukkys]

コメントありがとうございます！早速サイズを３２にして学習させています。カーネルサイズについて誤解していたことがあったようで、畳み込むから大きいサイズから小さいサイズに変更するようなイメージでいました。新しいCNNは追記しました。