CNN 映像で画像認識

Question

質問内容

手話の単語を認識するCNNを自作したのですが、これを用いてリアルタイムのカメラの映像に学習した手話の単語が出てきたときにそれを認識するようなものを作りたいと考えています。これを実装する方法や読むといい本などがあれば教えてもらいたいです。
ソースコード

自作したCNNのソースコードです。
テストデータで確認してみたところ正解率は93%でした。

import keras
import pickle
import pandas as pd
import numpy as np
import seaborn as sns
from keras import models
from keras import layers
from keras import optimizers
from pandas import Series,DataFrame
from keras.utils import to_categorical
from keras.optimizers import RMSprop
from keras.preprocessing.image import ImageDataGenerator
from sklearn.preprocessing import LabelBinarizer
 
#csv読み込み
sign_train = pd.read_csv("sign_mnist_train.csv",sep=",")
lb=LabelBinarizer()

#特訓データ
train_data=sign_train.drop(['label'],axis=1)
train_data = train_data.values.reshape(-1,28,28,1)
train_data=train_data.astype('float32')/255
train_label=sign_train['label']
train_label=lb.fit_transform(train_label)

#モデル
model=models.Sequential()
model.add(layers.Conv2D(32,(3,3),activation='relu',input_shape=(28,28,1)))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(64,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(64,(3,3),activation='relu'))
model.add(layers.Flatten())
model.add(layers.Dense(64,activation='relu'))
model.add(layers.Dropout(0.1))
model.add(layers.Dense(64,activation='relu'))
model.add(layers.Dropout(0.1))
model.add(layers.Dense(24,activation='softmax'))

#学習の取り決め
model.compile(optimizer='adam',loss='categorical_crossentropy',metrics=['acc'])

#学習
history=model.fit(train_data,train_label,epochs=20,batch_size=200)

#保存
with open('model.pickle', mode='wb') as f:
    pickle.dump(model, f)

Answer 1

この後、恐らく行うことになるだろう項目を列挙しつつ、検索キーワードを主観で書きます。

1. カメラから映像を取得する (USB or ネットワークカメラ) キーワード: OpenCV,ラズパイ(ラズパイは情報が多いです)
2. 映像の中から手話部分だけを取り出し キーワード: Yolo (or Semantic Segmentation?)
3. 識別(上記のmodel.pickleを読み込んでmodel.predict())
4. 識別の高速化 キーワード: TensorRT, ONNX, JetsonNano, GStreamer

まずはOpenCVでカメラ映像を取り込むところからスタートだと思います。