Kerasで、精度が上がらない & 過学習

Question

前提・実現したいこと

PythonのKerasで、画像を判別するプログラムを書いています。

犬、猫、ライオンのカラー画像をそれぞれやく1000枚訓練データとし、3つのラベルで分類しようとしています。

モデルの精度も下の通り、イマイチで、検証データの精度を見る限りか学習してしまっています。
この原因を教えていただきたいです。

発生している問題・エラーメッセージ

該当のソースコード

訓練データの用意

NUM_CLASSES = 3 # 分類するクラス数
IMG_SIZE = 280 # 画像の1辺の長さ

# 学習用画像データ
train_images = []
# 学習用データのラベル
train_labels = []

#学習用データセット作成
for label, dir_name in enumerate(img_dirs):
    # ./data/以下の各ディレクトリ内のファイル名取得
    files = os.listdir(os.getcwd() + '/imgs/train_images/' + dir_name)
    for file in files:
        # 画像読み込み
        img = cv2.imread(os.getcwd() + '/imgs/train_images/' + dir_name + '/' + file)
        if img is not None:                
                # 1辺がIMG_SIZEの正方形にリサイズ
                img = cv2.resize(img, dsize=(IMG_SIZE, IMG_SIZE), interpolation=cv2.INTER_NEAREST)
                # OpenCVの関数cvtColorでBGRとRGBを変換
                img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
                # Numpy配列にする
                data = np.asarray(img)
                # 配列に追加
                train_images.append(data)
                # ラベル
                train_labels.append(label)

# numpy配列に変換
train_images = np.array(train_images)
train_labels = np.array(train_labels)

# ニューラルネットワークにデータを投入する前に、これらの値を0から1までの範囲にスケールする
train_images = train_images.astype('float32') / 255.0

# One-Hotエンコーディングする
train_labels = np_utils.to_categorical(train_labels, NUM_CLASSES)

モデルに関して

model = models.Sequential()
model.add(layers.Conv2D(32,(3,3),activation="relu",input_shape=(IMG_SIZE, IMG_SIZE, NUM_CLASSES)))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.BatchNormalization())
model.add(layers.Conv2D(64,(3,3),activation="relu"))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.BatchNormalization())
model.add(layers.Flatten())
model.add(layers.Dense(128,activation="relu"))
model.add(layers.Dropout(0.5))
model.add(layers.Dense(NUM_CLASSES,activation="softmax"))

#モデルのコンパイル
model.compile(optimizer=optimizers.RMSprop(lr=1e-4, rho=0.9, epsilon=1e-08, decay=0.0),
              loss="categorical_crossentropy",
              metrics=["acc"])

# Early-stopping
early_stopping = EarlyStopping(monitor='val_loss', patience=2, verbose=1, mode='auto')

# モデルの学習
fit = model.fit(
        train_images, train_labels,
        batch_size=64,
        epochs=10,
        verbose=1,
        validation_split=0.1,
        callbacks=[early_stopping])

# モデルの評価
test_loss, test_acc = model.evaluate(test_images, test_labels)
print('Test accuracy:', test_acc)

試したこと

モデルを下のように書き換えてみましたが、モデルの精度も下がり、学習にかかる時間がとても長くなってしまいました。

# モデルの構築
model = models.Sequential()
model.add(layers.Conv2D(32, kernel_size=(3, 3),
                 activation='relu',
                 input_shape=(IMG_SIZE, IMG_SIZE, NUM_CLASSES)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D(pool_size=(2, 2)))
model.add(layers.Dropout(0.25))
model.add(layers.Flatten())
model.add(layers.Dense(128, activation='relu'))
model.add(layers.Dropout(0.5))
model.add(layers.Dense(NUM_CLASSES, activation='softmax'))

最後に

適切なモデルの作り方を細かく教えていただけると幸いです。
初めての質問で至らぬところもあるかと思いますが、どうぞよろしくお願い致します。

Comments

[tiitoi]

画像は [0, 1] に正規化していますか？
また最適化は RMSProp 以外のもの (Adamとか) も試されましたか。
学習がうまくいくかどうかはデータ次第なところがあるので、実際のデータや前処理の方法等の情報がない以上、具体的な回答はできません

[dragon1]

訓練データに関して該当箇所の追記をしたのでご確認お願いします。
その追記した箇所にて、画像を[0, 1]に正規化しています。

最適化に関しては、現在他のものも試しているところです。

[tiitoi]

最適化手法やパラメータ等を変えても精度が上がらない場合は、ImageNet の学習済みモデルをベースに転移学習することをおすすめします。
以下にやり方が書いてあります。

http://pynote.hatenablog.com/entry/keras-image-data-generator-usage

[dragon1]

教えていただいた通り、ImageNetの学習済みモデルを使用したところ、訓練データの精度、検証データの精度ともに9割を超え、過学習することもありませんでした。ありがとうございます。

[Q71]

解決ですか？
畳み込み層を使った分類ネットは、畳み込み層で特徴を抽出し、Dense 以降の層で特徴を分類します。よって、畳み込み層で「どのような特徴を抽出したか」が、その後の分類の精度が上がるかどうかのキーになります。
見たところ、畳み込み層が2層のようですが、これでは薄すぎます。畳み込み層を4層以上に増やしてみて下さい。この辺は、トライエラーの繰り返しになります。

[dragon1]

いいえ、まだ解決していません。
畳み込み層を以下の用に変更してみたところ、モデルの精度が６割だったのが8割くらいまで上がりました。
しかし、まだまだ精度が低いので、これ以上上げるにはどうしたらいいんだ、と考えているところです。
```
model = models.Sequential()
model.add(layers.BatchNormalization())
model.add(layers.Conv2D(32,(3,3),activation="relu",input_shape=(IMG_SIZE, IMG_SIZE, NUM_CLASSES)))
model.add(layers.Conv2D(32,(3,3),activation="relu"))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(64,(3,3),activation="relu"))
model.add(layers.Conv2D(64,(3,3),activation="relu"))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(128,(3,3),activation="relu"))
model.add(layers.Conv2D(128,(3,3),activation="relu"))
model.add(layers.MaxPooling2D((2,2)))
```
以上、よろしくお願いします。

Answer 1

あまり詳しいことは書けませんが。
訓練画像に問題があるのか、ネットワークに問題があるのか、我々外の人間には判別できません。
画像は、どこから集めてきたのでしょうか。

• ImageNet や CoCo など、「実績のある」データセットを使う。
• AresNet や GoogleNet など、「実績のある」ネットワークを使う。
• それらと、ネットワーク、データセットを入れ替えて検証する。

といったところでしょうか。
コメントに「訓練が右向きばかりで、検証が左向きばかりだったら」と書きましたが、データセットの善し悪しがかなり影響します。ネットワークとデータセットの両方を自前で用意するのではなく、まずは実績のあるものを自分で学習させて確認し、それから自前のものに置き換えていくのはどうでしょうか。