カメラの映像に対しての学習済みモデルの判定

Question

質問内容

私はkaggleにあったSign Language MNIST(jとzを除いたa~yの24個のアルファベットの手話のデータセット)をもとに手話の単語を認識するCNNを作成しました。
MNIST学習済みモデルとOpenCVを使ってリアルタイムに手書き数字を認識させるを参考にこの学習済みモデルを使ってカメラの映像に対して画像認識をやりたいと考えているのですが、カメラで写した手話の記号とは異なる結果が表示されてしまいます。

例)
理想 　　　　　　　　　実際
1:[a, 1.0] 1:[k, 1.0]　
2:[y, 0.0] 　 ⇒ 2:[y, 0.0]
3:[x, 0.0] 3:[x, 0.0]
以下のソースコードのどこかに間違いがあるのでしょうか？
それとも学習済みモデルがよくないのでしょうか？
ソースコード

学習済みモデル
正解率は90%を超えています。

import keras
import pickle
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from keras import models
from keras import layers
from keras import optimizers
from pandas import Series,DataFrame
from keras.utils import to_categorical
from keras.optimizers import RMSprop
from keras.preprocessing.image import ImageDataGenerator
from sklearn.preprocessing import LabelBinarizer

#csv読み込み
sign_train = pd.read_csv("sign_mnist_train.csv",sep=",")
sign_test = pd.read_csv("sign_mnist_test.csv",sep=",")
lb=LabelBinarizer()

#特訓データ
train_data=sign_train.drop(['label'],axis=1)
train_data = train_data.values.reshape(-1,28,28,1)
train_data=train_data.astype('float32')/255

train_label=sign_train['label']
train_label=lb.fit_transform(train_label)

#テストデータ
test_data=sign_test.drop(['label'],axis=1)
test_data = test_data.values.reshape(-1,28,28,1)
test_data=test_data.astype('float32')/255

test_label=sign_test['label']
test_label=lb.fit_transform(test_label)

#モデル
model=models.Sequential()
model.add(layers.Conv2D(32,(3,3),activation='relu',input_shape=(28,28,1)))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(64,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(64,(3,3),activation='relu'))

model.add(layers.Flatten())
model.add(layers.Dense(64,activation='relu'))
model.add(layers.Dropout(0.1))
model.add(layers.Dense(64,activation='relu'))
model.add(layers.Dropout(0.1))
model.add(layers.Dense(24,activation='softmax'))

#学習の取り決め
model.compile(optimizer='adam',loss='categorical_crossentropy',metrics=['acc'])

#学習
history=model.fit(train_data,train_label,epochs=20,batch_size=200,validation_data=(test_data,test_label))

#保存
model.save("sign.h5")

カメラ映像で画像認識を行うプログラム

from keras.models import load_model
import numpy as np
import cv2

# カメラから画像を取得して,リアルタイムに手書き数字を判別させる。
# 動画表示
cap = cv2.VideoCapture(0)

model = load_model("sign.h5") # 学習済みモデルをロード

# 無限ループ
while(True):

    # 判定用データの初期化
    Xt = []
    Yt = []

    ret, frame = cap.read()

    # 画像のサイズを取得,表示。グレースケールの場合,shape[:2]
    h, w, _ = frame.shape[:3]

    # 画像の中心点を計算
    w_center = w//2
    h_center = h//2

    # 画像の真ん中に142×142サイズの四角を描く
    cv2.rectangle(frame, (w_center-71, h_center-71), (w_center+71, h_center+71),(255, 0, 0))

    # カメラ画像の整形
    im = frame[h_center-70:h_center+70, w_center-70:w_center+70] # トリミング
    im = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY) # グレースケールに変換
    _, th = cv2.threshold(im, 0, 255, cv2.THRESH_OTSU) # 2値化
    th = cv2.bitwise_not(th) # 白黒反転
    th = cv2.GaussianBlur(th,(9,9), 0) # ガウスブラーをかけて補間
    th = cv2.resize(th,(28, 28), cv2.INTER_CUBIC) # 訓練データと同じサイズに整形
    th = th.reshape(28,28,1)
     
    Xt.append(th)
    Xt = np.array(Xt)/255

    result = model.predict(Xt, batch_size=1) # 判定,ソート

    ch = ['a','b','c','d','e','f','g','h','i','k','l','m',
    'n','o','p','q','r','s','t','u','v','w','x','y']
    
    for i in range(len(ch)):
        r = round(result[0,i], 2)
        Yt.append([ch[i], r])
        Yt = sorted(Yt, key=lambda x:(x[1]))

    # 判定結果を上位3番目まで表示させる
    cv2.putText(frame, "1:"+str(Yt[23]), (10,80), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255,255,0), 1, cv2.LINE_AA)
    cv2.putText(frame, "2:"+str(Yt[22]), (10,110), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255,0,255), 1, cv2.LINE_AA)
    cv2.putText(frame, "3:"+str(Yt[21]), (10,140), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,255,255), 1, cv2.LINE_AA)

    cv2.imshow("frame",frame) # カメラ画像を表示

    k =  cv2.waitKey(1) & 0xFF # キーが押下されるのを待つ。1秒置き。64ビットマシンの場合,& 0xFFが必要
    prop_val = cv2.getWindowProperty("frame", cv2.WND_PROP_ASPECT_RATIO) # アスペクト比を取得

    if k == ord("q") or (prop_val < 0): # 終了処理
        break

cap.release() # カメラを解放
cv2.destroyAllWindows() # ウィンドウを消す

Comments

[8524ba23]

取り組まれている問題はいわゆる「Sign_MNIST」でしょうか？ もしそうなら
その旨を記載し、学習データ「～.csv」の入手元（DLできるURL）も記載すると第三者も再現でき回答得られやすくなるかと思います。
また、カメラ画像だと正確な結果が得られるとは限らないので、まずは訓練画像でpredictした結果で正しく動作しているか検証すべきかと思います。

[huton]

DLできるURLを追加しました。ありがとうございます。
助言いただいたようにまずは画像で確認してみようと思います。

Answer 1

元データに書いてある説明によると

The training data (27,455 cases) and test data (7172 cases) are approximately half the size of the standard MNIST but otherwise similar with a header row of label, pixel1,pixel2….pixel784 which represent a single 28x28 pixel image with grayscale values between 0-255.

とのことなので、グレースケールで訓練されたものと考えられます。
したがって、認識時も2値化までする必要はなく、キャプチャをグレイスケール化＆補間した状態で予測関数に渡した方が認識精度は高まるように思われます。
（ガウスブラー補間も不要かもしれません）
（下記のコード変更で、比較的認識しやすいと思われる指文字「C」「V」の精度は良くなりました。
ただし他の文字だと、手への光の当たり具合や背景とのコントラストが訓練データと異なったせいか精度がよくありませんでした）

    im = frame[h_center-70:h_center+70, w_center-70:w_center+70]  # トリミング
    im = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)  # グレースケールに変換
    th = cv2.GaussianBlur(im, (9, 9), 0)  # ガウスブラーをかけて補間
    th = cv2.resize(im, (28, 28), cv2.INTER_CUBIC)  # 訓練データと同じサイズに整形
    th = th.reshape(28, 28, 1)

追記

２値化する場合でも、白黒反転処理をしないだけで認識精度は高まるように思われます。
（元コードの「 th = cv2.bitwise_not(th) # 白黒反転」だけをコメントアウト）

Comments

[huton]

実際にやっていただける方が現れるとは思っていなかったのでとてもありがたいです！
本当にありがとうございます！
とても助かりました！