opencvを使ったカメラ映像での画像認識

Question

質問内容

自作した学習済みモデルとopencvでカメラの映像を使った画像認識を行いたいと思い以下のサイト(リンク内容)を参考にやってみようとしたのですがエラーが発生してしまいました。このエラーを解決するにはどのようにすればいいのでしょうか？
ソースコード

学習済みモデル(sign.py)
保存方法に問題があるかもしれないので一応学習済みモデルのソースコードを載せます。

import keras
import pickle
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from keras import models
from keras import layers
from keras import optimizers
from pandas import Series,DataFrame
from keras.utils import to_categorical
from keras.optimizers import RMSprop
from keras.preprocessing.image import ImageDataGenerator
from sklearn.preprocessing import LabelBinarizer

#csv読み込み
sign_train = pd.read_csv("sign_mnist_train.csv",sep=",")
sign_test = pd.read_csv("sign_mnist_test.csv",sep=",")
lb=LabelBinarizer()

#特訓データ
train_data=sign_train.drop(['label'],axis=1)
train_data = train_data.values.reshape(-1,28,28,1)
train_data=train_data.astype('float32')/255

train_label=sign_train['label']
train_label=lb.fit_transform(train_label)

#テストデータ
test_data=sign_test.drop(['label'],axis=1)
test_data = test_data.values.reshape(-1,28,28,1)
test_data=test_data.astype('float32')/255

test_label=sign_test['label']
test_label=lb.fit_transform(test_label)

#モデル
model=models.Sequential()
model.add(layers.Conv2D(32,(3,3),activation='relu',input_shape=(28,28,1)))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(64,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(64,(3,3),activation='relu'))

model.add(layers.Flatten())
model.add(layers.Dense(64,activation='relu'))
model.add(layers.Dropout(0.1))
model.add(layers.Dense(64,activation='relu'))
model.add(layers.Dropout(0.1))
model.add(layers.Dense(24,activation='softmax'))

#学習の取り決め
model.compile(optimizer='adam',loss='categorical_crossentropy',metrics=['acc'])

#学習
history=model.fit(train_data,train_label,epochs=20,batch_size=200,validation_data=(test_data,test_label))

#保存
model.save("sign.h5")

エラーの出たソースコード(kamera.py)
エラーの出た行の先頭に(*)と書いておきます。

from keras.models import load_model
import numpy as np
import cv2

# カメラから画像を取得して,リアルタイムに手書き数字を判別させる。
# 動画表示
cap = cv2.VideoCapture(1)

model = load_model("sign.h5") # 学習済みモデルをロード

# 無限ループ
while(True):

    # 判定用データの初期化
    Xt = []
    Yt = []

    ret, frame = cap.read()

    # 画像のサイズを取得,表示。グレースケールの場合,shape[:2]
(*) h, w, _ = frame.shape[:3]

    # 画像の中心点を計算
    w_center = w//2
    h_center = h//2

    # 画像の真ん中に142×142サイズの四角を描く
    cv2.rectangle(frame, (w_center-71, h_center-71), (w_center+71, h_center+71),(255, 0, 0))

    # カメラ画像の整形
    im = frame[h_center-70:h_center+70, w_center-70:w_center+70] # トリミング
    im = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY) # グレースケールに変換
    _, th = cv2.threshold(im, 0, 255, cv2.THRESH_OTSU) # 2値化
    th = cv2.bitwise_not(th) # 白黒反転
    th = cv2.GaussianBlur(th,(9,9), 0) # ガウスブラーをかけて補間
    th = cv2.resize(th,(28, 28), cv2.INTER_CUBIC) # 訓練データと同じサイズに整形

    Xt.append(th)
    Xt = np.array(Xt)/255

    result = model.predict(Xt, batch_size=1) # 判定,ソート
    for i in range(10):
        r = round(result[0,i], 2)
        Yt.append([i, r])
        Yt = sorted(Yt, key=lambda x:(x[1]))

    # 判定結果を上位3番目まで表示させる
    cv2.putText(frame, "1:"+str(Yt[9]), (10,80), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255,255,255), 1, cv2.LINE_AA)
    cv2.putText(frame, "2:"+str(Yt[8]), (10,110), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255,255,255), 1, cv2.LINE_AA)
    cv2.putText(frame, "3:"+str(Yt[7]), (10,140), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255,255,255), 1, cv2.LINE_AA)
    cv2.imshow("frame",frame) # カメラ画像を表示

    k =  cv2.waitKey(1) & 0xFF # キーが押下されるのを待つ。1秒置き。64ビットマシンの場合,& 0xFFが必要
    prop_val = cv2.getWindowProperty("frame", cv2.WND_PROP_ASPECT_RATIO) # アスペクト比を取得

    if k == ord("q") or (prop_val < 0): # 終了処理
        break

cap.release() # カメラを解放
cv2.destroyAllWindows() # ウィンドウを消す

エラーメッセージ

Traceback (most recent call last):
  File "kamera.py",line 21, in <module>
    h, w, _ = frame.shape[:3]
AttributeError: 'NoneType' object has no attribute 'shape'

Answer 1

原因

おそらくですが、カメラから映像を取得するのに失敗しています。
映像の取得に失敗した場合、以下の ret は False になっているので、それをチェックしましょう。

ret, frame = cap.read()
assert ret, "フレームの取得に失敗"

カメラのデバイス ID は通常は0から割り当てられるので、ノート PC に内蔵カメラがすでにあり、別途 Web カメラを接続しているといった状況でなければ、以下のデバイス ID は0になると思います。

- cap = cv2.VideoCapture(1)
+ cap = cv2.VideoCapture(0)

参考

• OpenCV - VideoCapture、VideoWriter の使い方

Comments

[huton]

エラーが消えました！
ありがとうございました！