ResNet50を用いた転移学習モデルで、training時とvalidation/predict時の推論結果が異なる

Question

質問内容

ResNet50の転移学習モデルを用いて画像分類を試みています。
ところが、下記のようにtrain時とval, predict時の挙動が異なっており困っております。

　　train時：学習が正常に進み、epochごとにlossとaccuracyが改善される
val, predict時：すべての画像を特定の分類として判定する

ちなみに、学習後のモデルを用いて、trainに用いた画像を推論させたところ、
train時の判定精度は約89％だったにもかかわらず、
下記のConfusion Matrix同様に、すべての画像をある特定のラベルと判定していました。

原因についてお心当たりがありましたら、ご教授いただければ幸いです。

追記（修正点と結果）

下記の点、修正いたしました。

①resnet50とfc_modelを削除しない（回答参考）　⇒　変化なし
②手動でダウンロードしていた重みを自分で作成したフォルダに保存して読み込んでいたが、
"~/.keras/models/"に移動して、'imagenet'で読み込み　⇒　変化なし
③input_shape = (image_size, image_size, 3)として、input_tensorでなくinput_shapeで指定　⇒　変化なし
④別の重みをダウンロードして実行　⇒　最新版でないとのメッセージがでたため、元の重みに戻した
⑤転移学習を行わない場合の結果を追記いたしました（画像数とepoch数は異なる）。

問題のスクリプト

# 画像とラベルをtrain, validation, testで分割
X_train, X_test, y_train, y_test = train_test_split(x_all_data, y_GroundTruth, test_size=0.2, random_state=1)
X_train, X_val , y_train, y_val  = train_test_split(X_train, y_train, test_size=0.2, random_state=1)

y_train = to_categorical(y_train)
y_val   = to_categorical(y_val)
y_test  = to_categorical(y_test)

# ResNet50のロード。
# FC層は不要なので include_top=False
# 参照：https://www.pythonmania.work/entry/2019/04/17/154829
# weightsがダウンロードできないためhttps://github.com/fchollet/deep-learning-models/releases/tag/v0.2
# にて手動ダウンロード　参照：https://github.com/fchollet/deep-learning-models/issues/33
input_shape = Input(shape=(image_size, image_size, 3))
resnet50 = ResNet50(include_top=False, 
                    weights=r'./（ディレクトリ名）/resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5',
                    input_tensor=input_shape)

# FC層の作成
fc_model = Sequential()
fc_model.add(Flatten(input_shape=resnet50.output_shape[1:]))
fc_model.add(Dense(256, activation='relu'))
fc_model.add(Dropout(0.5))
fc_model.add(Dense(8, activation='softmax'))

# ResNet50とFC層を結合してモデルを作成
resnet50_model = Model(input=resnet50.input, output=fc_model(resnet50.output))

del resnet50
del fc_model

gc.collect()

# print(len(resnet50_model.layers)) => 176
#ResNet50の一部の重みを固定（176階層中の170階層の重み固定）
for layer in resnet50_model.layers[:170]:
    layer.trainable = False


# 多クラス分類を指定
resnet50_model.compile(loss='categorical_crossentropy',
          optimizer=optimizers.SGD(lr=1e-3, momentum=0.9),
          metrics=['accuracy'])

history = resnet50_model.fit(X_train, y_train, batch_size=8, verbose=1, epochs=10,
                        validation_data=(X_val, y_val))




# In[ ]:
# 結果表示



# accuracyが最小となるときのweightを読み込み
# model.load_weights('weights.hdf5')

y_pred = resnet50_model.predict(X_test, batch_size=8, verbose=0)


y_test_arg = np.argmax(y_test, axis=1)
y_pred_arg = np.argmax(y_pred, axis=1)

print("Confusion Matrix")
print(confusion_matrix(y_test_arg, y_pred_arg))

print('Accuracy: ', accuracy_score(y_test_arg, y_pred_arg))
print('F1 Score: ', f1_score(y_test_arg, y_pred_arg,average="macro"))

問題のスクリプトの結果

Train on 775 samples, validate on 194 samples
Epoch 1/10
775/775 [==============================] - 43s 56ms/step - loss: 2.8364 - accuracy: 0.6026 - val_loss: 2.1264 - val_accuracy: 0.3041
Epoch 2/10
775/775 [==============================] - 26s 34ms/step - loss: 0.9090 - accuracy: 0.7394 - val_loss: 2.0831 - val_accuracy: 0.0567
Epoch 3/10
775/775 [==============================] - 27s 34ms/step - loss: 0.7186 - accuracy: 0.7806 - val_loss: 2.0935 - val_accuracy: 0.0567
Epoch 4/10
775/775 [==============================] - 27s 34ms/step - loss: 0.6537 - accuracy: 0.8206 - val_loss: 2.3842 - val_accuracy: 0.3041
Epoch 5/10
775/775 [==============================] - 26s 34ms/step - loss: 0.7280 - accuracy: 0.8065 - val_loss: 2.1401 - val_accuracy: 0.3041
Epoch 6/10
775/775 [==============================] - 26s 34ms/step - loss: 0.5726 - accuracy: 0.8374 - val_loss: 2.0188 - val_accuracy: 0.3093
Epoch 7/10
775/775 [==============================] - 26s 34ms/step - loss: 0.5044 - accuracy: 0.8542 - val_loss: 2.1495 - val_accuracy: 0.0361
Epoch 8/10
775/775 [==============================] - 27s 35ms/step - loss: 0.5044 - accuracy: 0.8619 - val_loss: 2.1775 - val_accuracy: 0.2990
Epoch 9/10
775/775 [==============================] - 27s 34ms/step - loss: 0.5373 - accuracy: 0.8645 - val_loss: 2.1233 - val_accuracy: 0.3041
Epoch 10/10
775/775 [==============================] - 27s 34ms/step - loss: 0.4005 - accuracy: 0.8877 - val_loss: 2.0625 - val_accuracy: 0.3041

Confusion Matrix
[[ 0  0  0  0  2  0  0  0]
 [ 0  0  0  0 10  0  0  0]
 [ 0  0  0  0 39  0  0  0]
 [ 0  0  0  0 65  0  0  0]
 [ 0  0  0  0 77  0  0  0]
 [ 0  0  0  0 32  0  0  0]
 [ 0  0  0  0  7  0  0  0]
 [ 0  0  0  0 11  0  0  0]]

Accuracy:  0.3168724279835391
F1 Score:  0.06015625

成功するスクリプト

# 画像とラベルをtrain, validation, testで分割
X_train, X_test, y_train, y_test = train_test_split(x_all_data, y_GroundTruth, test_size=0.2, random_state=1)
X_train, X_val , y_train, y_val  = train_test_split(X_train, y_train, test_size=0.2, random_state=1)

y_train = to_categorical(y_train)
y_val   = to_categorical(y_val)
y_test  = to_categorical(y_test)

model = Sequential()

# 入力画像は224 X 224 X 3
model.add(Conv2D(16, kernel_size=(5, 5),padding='same', activation='relu',
                 kernel_initializer='he_normal', input_shape=(224, 224, 3)))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(64, kernel_size=(5, 5),padding='same', activation='relu',
                 kernel_initializer='he_normal'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(128, kernel_size=(5, 5),padding='same', activation='relu',
                 kernel_initializer='he_normal'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(units=512))
model.add(Activation('relu'))
model.add(Dense(units=256))
model.add(Activation('relu'))
model.add(Dense(units=256))
model.add(Activation('relu'))
model.add(Dense(8, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

history = model.fit(X_train, y_train, batch_size=8, verbose=1, epochs=15, validation_data=(X_val, y_val))


y_pred = model.predict(X_test, batch_size=8, verbose=0)

y_test_arg = np.argmax(y_test, axis=1)
y_pred_arg = np.argmax(y_pred, axis=1)

print("Confusion Matrix")
print(confusion_matrix(y_test_arg, y_pred_arg))

print('Accuracy: ', accuracy_score(y_test_arg, y_pred_arg))
print('F1 Score: ', f1_score(y_test_arg, y_pred_arg,average="macro"))

#　成功するスクリプトの結果

Train on 670 samples, validate on 168 samples
Epoch 1/15
670/670 [==============================] - 22s 33ms/step - loss: 11.9808 - accuracy: 0.3149 - val_loss: 1.4312 - val_accuracy: 0.3810
Epoch 2/15
670/670 [==============================] - 6s 9ms/step - loss: 1.2536 - accuracy: 0.5746 - val_loss: 1.0848 - val_accuracy: 0.6726
Epoch 3/15
670/670 [==============================] - 6s 9ms/step - loss: 1.1292 - accuracy: 0.6149 - val_loss: 1.1626 - val_accuracy: 0.6369
Epoch 4/15
670/670 [==============================] - 6s 9ms/step - loss: 0.9577 - accuracy: 0.6343 - val_loss: 0.9260 - val_accuracy: 0.6786
Epoch 5/15
670/670 [==============================] - 6s 9ms/step - loss: 0.7463 - accuracy: 0.7313 - val_loss: 0.8360 - val_accuracy: 0.6845
Epoch 6/15
670/670 [==============================] - 6s 9ms/step - loss: 0.6855 - accuracy: 0.7507 - val_loss: 0.9705 - val_accuracy: 0.7262
Epoch 7/15
670/670 [==============================] - 6s 9ms/step - loss: 0.6168 - accuracy: 0.7731 - val_loss: 1.0714 - val_accuracy: 0.7619
Epoch 8/15
670/670 [==============================] - 6s 9ms/step - loss: 0.4977 - accuracy: 0.8164 - val_loss: 0.9056 - val_accuracy: 0.6964
Epoch 9/15
670/670 [==============================] - 6s 9ms/step - loss: 0.3705 - accuracy: 0.8716 - val_loss: 0.7673 - val_accuracy: 0.7321
Epoch 10/15
670/670 [==============================] - 6s 9ms/step - loss: 0.2310 - accuracy: 0.9075 - val_loss: 0.7087 - val_accuracy: 0.7798
Epoch 11/15
670/670 [==============================] - 6s 9ms/step - loss: 0.1560 - accuracy: 0.9418 - val_loss: 1.0097 - val_accuracy: 0.7262
Epoch 12/15
670/670 [==============================] - 6s 9ms/step - loss: 0.1333 - accuracy: 0.9507 - val_loss: 0.8617 - val_accuracy: 0.8452
Epoch 13/15
670/670 [==============================] - 6s 9ms/step - loss: 0.1456 - accuracy: 0.9478 - val_loss: 0.8585 - val_accuracy: 0.7440
Epoch 14/15
670/670 [==============================] - 6s 9ms/step - loss: 0.0938 - accuracy: 0.9716 - val_loss: 0.7732 - val_accuracy: 0.7857
Epoch 15/15
670/670 [==============================] - 6s 9ms/step - loss: 0.0609 - accuracy: 0.9836 - val_loss: 0.7505 - val_accuracy: 0.8214

Confusion Matrix
[[ 3  0  0  0  0  0  0]
 [ 0  1  1  2  0  0  3]
 [ 0  1 21  7  3  0  1]
 [ 0  1 11 38  1  8  1]
 [ 0  0  0  0 83  0  0]
 [ 0  0  0  1  0 14  0]
 [ 0  0  3  0  0  0  6]]
Accuracy:  0.7904761904761904
F1 Score:  0.6922323858385239

Answer 1

train時の判定精度は約89％だったにもかかわらず、

fit() 関数で学習を実行したときのログを見ると、確かに学習データに対する精度が10エポック目で 89% となっていますが、検証データに対する精度は 30% と1エポック目からほとんど変化していません。

loss: 0.4005 - accuracy: 0.8877 - val_loss: 2.0625 - val_accuracy: 0.3041

なので、過学習しており、学習がうまくいっていないと思います。
学習データに対する loss の値及び精度はその値が変化しなくなったことで収束したかどうかの判断には使えますが、汎化性能のあるモデルが学習できたかどうかは val_loss、val_accuracy の値で判断するべきだと思います。

追記

学習済みモデルを使用する際は、学習済みモデルを学習した際と同じ前処理を行う必要があります。keras.applications.resnet50.preprocess_input に (N, H, W, C) のテンソルを渡してください。

from keras.applications.resnet50 import ResNet50, preprocess_input

X_train = preprocess_input(X_train)
X_test = preprocess_input(X_test)

Comments

[Hagasuke]

ご回答いただきありがとうございます。
私も過学習をしているのかと思いましたが、
念のため、下記のように学習したモデルを用いて、
学習に使用したデータ（X_train）の推論を行ってみました。

y_pred = resnet50_model.predict(X_train, batch_size=8, verbose=0)

この場合は、accuracy: 0.8877が再現されるはずですが、
推論結果のaccuracyを確認すると0.3程度となっていました。
Confusion Matrixも上記と同様の結果となりました。

なので、過学習ではなく、学習後のモデルが何らかの理由で
正しく推論（val, testともに）できなくなっているのだと思います。

[tiitoi]

X_train に対しても同じ値が出ないということでしょうか。

関係あるかどうかはわからないですが、以下の三行はいらないと思いますので、消してみてはでうでしょうか。
既存のモデルから新しいモデルを作った場合に全く別のオブジェクトとして作成されるわけではないので、resnet50, fc_model を消してしまって問題ないのかわかりません。
del resnet50
del fc_model
gc.collect()

[Hagasuke]

> X_train に対しても同じ値が出ないということでしょうか。

はい、Ｘ_trainに対してpredictしても再現しません。

> 関係あるかどうかはわからないですが、以下の三行はいらないと思いますので、消してみてはでうでし
> ょうか。
> 既存のモデルから新しいモデルを作った場合に全く別のオブジェクトとして作成されるわけではないの
> で、resnet50, fc_model を消してしまって問題ないのかわかりません。
> del resnet50
> del fc_model
> gc.collect()

なるほど、別のオブジェクトとして作成されるわけではないのであれば、
上記が悪さをしている可能性がありますね。
修正して確認してみます。結果が出ましたら、また報告させていただきます。

[Hagasuke]

上記の件、修正して確認してみましたが改善しませんでした。

[tiitoi]

念の為確認しますが、X_train に対しても再現しなかったというときは、fit() のあとの行にある y_test も y_train に、適宜変更しましたか？

y_pred = resnet50_model.predict(X_train, batch_size=8, verbose=0)
y_train_arg = np.argmax(y_train, axis=1)
y_pred_arg = np.argmax(y_pred, axis=1)
print("Confusion Matrix")
print(confusion_matrix(y_train_arg, y_pred_arg))
print('Accuracy: ', accuracy_score(y_train_arg, y_pred_arg))
print('F1 Score: ', f1_score(y_train_arg, y_pred_arg,average="macro"))

[tiitoi]

こちらにはデータがないため、動かしてデバッグすることはこちらではできないのですが、目視でコードを見た範囲では問題はないように思いました。

[Hagasuke]

ご回答いただきありがとうございます。
手持ちの画像枚数が増えているので同じ条件で再確認することは難しいのですが、
上記のようにy_testもy_trainに変更しておりましたが再現いたしませんでした。

また、転移学習ではなく、手書きのCNNモデルを用いた場合について追記いたしました。
画像数やepoch数は異なりますが、モデルの構造以外は同じものです。
同様の条件でも転移学習を行わなければ問題なく学習ができますので、
入力画像や、分類対象の難しさが原因ではないと考えております。

[tiitoi]

学習データに対しても精度がでないのは謎ですが、コードをよく見たら前処理をやっていませんね。
学習済みモデルを使用する際はその重みが作成された際と同じ前処理を行う必要があり、具体的には keras.applications.resnet50.preprocess_input を使って、学習前に予め全部のデータを変換しておいてください。

[Hagasuke]

スクリプト外でスケーリングは行っておりましたが、
確かに、学習済みモデルを使う場合には、
入力の前処理をそろえていないとまずいですね。
勉強不足でした。修正いたします。

[Hagasuke]

前処理としてpreprocess_inputを用いたところ、
上記の問題は解決いたしました！
数日にわたりご助言いただきありがとうございました。
本当に助かりました。