kerasの学習済みモデルの予測が外れる原因が知りたい

Question

画像認識プログラミングレシピという本で学習中です。

以下のコードを参考にkerasで学習済みモデルを作りました。

https://github.com/Kokensha/book-ml/blob/master/Colaboratory/05_01(TensorFlow_Keras_MNIST).ipynb

※saveするまでにエラーが出る部分があったので
def plot_loss_accuracy_graphの[acc]の部分を[accuracy]にしたり
教師ラベルデータの変換のkeras.utils.to_categoricalをnp_utils.to_categoricalに変更しました。

聞きたいこと

model.saveした学習済みモデルで手書き数字が本当に予測できるか試そうと思いやってみました。

import numpy as np
import tensorflow as tf
from tensorflow import keras
from tensorflow.python.keras.models import load_model
from PIL import Image
import matplotlib.pyplot as plt
import cv2

model = load_model("/content/drive/MyDrive/keras-mnist-model2.h5")

image = cv2.imread("/content/3の画像.png", 0)
print(image.shape)
image = cv2.resize(image, dsize=(28, 28))

image = image.reshape(1, 28, 28, 1)

image = image.astype("float32")

image = image / 255

prediction = model.predict(image)

zero_to_nine = ["0", "1", "2", "3", "4", "5", "6", "7", "8", "9",]

number = np.argmax(prediction)
print("予測結果:", zero_to_nine[number])

そこで1つほど質問があります。
mnistでloadした検証用手書き数字ではしっかり予測できているのですが、ネットで拾ってきた手書き数字だと全く予測が外れます。何が原因なのでしょうか？

今回kerasも初めて触ったので何がおかしくてどう改善すればいいのか手探り状態です。予測するためのコードも見様見真似で書いたので汚いと思いますが、ここ直したらいいよっていうのがあれば教えてください。

予測できた画像

予測が外れた画像



そのほかにも試しましたが、同じように外れました。

質問する上で不足していることがあれば修正いたしますので、よろしくお願いします。
ちなみに学習正解率は97％です。

googlecolabの環境
keras2.5.0
tensorflow2.5.0
numpy1.19.5

macOSXを利用

Answer 1

「MNISTで高精度に訓練したモデルに、独自の手書き数字をテストすると、ほとんど認識されない」というのは、普通の現象です。これは、訓練したモデルがMNISTのデータに過学習しているために発生します。認識率を向上させるために、データ拡張を行うことが多いです。

参考: 【MNIST】データ拡張で「汎化性能」UPっぷ【認識率UP!】

上記の他にも、「MNIST データ拡張」でググってみてくたさい。

Comments

[seyu0930]

コメントありがとうございます。拝見させていただきます。自分で考えろって言われそうですが、私のpredictのコード自体には原因となるところはなさそうですか？

[toast-uz]

predictのコードにMNISTのデータを通して検証すると良いと思います。MNISTのデータなら予測精度が高いが、他の手書きデータなら予測精度が悪いのであれば、予測コードは間違っておらず、モデルの汎化性能に問題があると、切り分けできます。

Answer 2

明確な答えはわかりませんが，
予測できた画像はカラー画像で，
予測が外れた画像はグレースケール画像のように見受けられます．
上記のプログラム中で入力画像はグレースケール画像の仕様になっていると見えます．
が，予測できた画像がカラー画像ならば，使用した学習済みモデルはカラー画像を入力するように推測されるのですが，そのあたりの整合性はどうなのでしょうか？

Comments

[seyu0930]

ご回答ありがとうございます。
正解したものはカラー画像で不正解だったものはグレースケール画像である可能性が高いということでしょうか？

[seyu0930]

https://www.tensorflow.org/tutorials/images/intro_to_cnns?hl=ja#mnist%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%81%AE%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%A8%E6%BA%96%E5%82%99

ここにある通り(1, 28, 28, 1)に揃えたつもりなのですがここのことでしょうか？

[LenItsuki]

うーん，プログラム的には，１チャンネル（グレースケール）を扱うようになっているように見えるのですが，そうだとすると，そもそもでカラー画像を入力しようとすると，tensorの次元が合わないなどのエラーを吐いて，動かないと思うので，なぜ正解した画像がカラーなのか？不思議です．（自動でグレースケールにする処理入ってますか？）
もちろん，他の回答のとおり，そもそも汎化性能が弱いだけという理由はありえるところですが．

[toast-uz]

「予測できた画像」はカラーではないです。グレースケールの画像は、このような色合い（黄色〜紫）で表示されることがあります。

[LenItsuki]

失礼いたしました．きっと，toast-uzさんの言う通りです．でないと，辻褄が合わないので．