USBカメラを使ったリアルタイム推論の実現

Question

リンク内容
↑のブログを参考にして、アメリカ手話のA～Z（合計２６ラベル）をカメラで認識できるシステムを作成したいと思っています。
今、皆様の助けをいただきカメラが立ち上がるところまでは上手くいきました。

#【追記】　
import nnabla as nnを追加することで、エラーメッセージはなくなりましたが、推論結果に「A」が表示されないです。
load model

[9.0499201e-13 8.3284620e-03 2.1359593e-13 9.3729278e-07 4.2998489e-02
9.3104863e-05 7.0083592e-11 8.0992570e-05 9.2842669e-07 5.9911050e-04
7.4407092e-10 2.2560068e-08 2.0808401e-04 8.7901944e-01 1.7035285e-07
4.3053884e-02 1.8338830e-04 8.9202439e-03 1.4667655e-09 1.6219448e-02
2.6256490e-15 2.4283212e-04 4.4393473e-05 5.1424081e-06 8.9699347e-07
9.0430478e-14]

#CSVファイルの内容はこれで間違いないのでしょうか？うまくいかないということは恐らく違うかもしれないです。（１枚目の画像）

#CSVファイルの保存場所　（２枚目の画像）

import nnabla as nn
import nnabla.functions as F
import nnabla.parametric_functions as PF
from nnabla.utils.data_iterator import data_iterator_csv_dataset 
import os 
import cv2
from datetime import datetime
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from PIL import Image

def network(x, y, test=False):
   # Input:x -> 3,250,250
    # MulScalar
    h = F.mul_scalar(x, 0.003921568627450981)
    # DepthwiseDeconvolution -> 3,256,256
    h = PF.depthwise_deconvolution(h, (7,7), name='DepthwiseDeconvolution')
    # ReLU
    h = F.relu(h, True)
    # MaxPooling -> 3,128,128
    h = F.max_pooling(h, (2,2), (2,2))
    # Convolution -> 16,128,128
    h = PF.convolution(h, 16, (3,3), (1,1), name='Convolution')
    # MaxPooling_2 -> 16,64,64
    h = F.max_pooling(h, (2,2), (2,2))
    # Tanh
    h = F.tanh(h)
    # Affine -> 100
    h = PF.affine(h, (100,), name='Affine')
    # ReLU_2
    h = F.relu(h, True)
    # Affine_2 -> 26
    h = PF.affine(h, (26,), name='Affine_2')
    # Softmax
    h = F.softmax(h)
    # CategoricalCrossEntropy -> 1
    #h = F.categorical_cross_entropy(h, y)
    return h

cap = cv2.VideoCapture(0) # 任意のカメラ番号に変更する

new_dir_path = "./realtime/"
os.makedirs(new_dir_path, exist_ok=True)

 #カメラスタート
while True:

    ret, frame = cap.read()
    cv2.imshow("camera", frame)

    k = cv2.waitKey(1)&0xff # キー入力を待つ
    if k == ord('p'): 

   # 「p」キーで画像を保存

        date = datetime.now().strftime("%Y%m%d_%H%M%S")
        path = new_dir_path + date +".png"
        cv2.imwrite(path, frame)       
        image_gs = cv2.imread(path)

        path = new_dir_path + date +".png"
        dst = cv2.resize(image_gs,(250,250))
        cv2.imwrite(path, dst)

        f = pd.DataFrame(columns=["x:data","y:data"])
        xdata = path
        ydata = 0
        new_name = pd.Series([xdata,ydata],index=f.columns)
        f = f.append(new_name, ignore_index=True)
        f.to_csv('C:\Users\username\Desktop\output\valu.csv',index=False,header = True )

        test_data = data_iterator_csv_dataset("C:\Users\username\Desktop\output\valu.csv",1,shuffle=False,normalize=True) 


        #ネットワークの構築
        nn.clear_parameters() 
        x = nn.Variable((1,3,250,250))
        t = nn.Variable((1,1))
        y = network(x, t)

        nn.load_parameters('\Users\username\Desktop\output\yubidata.files/20210108_180946\results.nnp')
        print("load model")



        path = new_dir_path + "test" +".png"
        cv2.imwrite(path, frame)       
        image_gs = cv2.imread(path)

        path = new_dir_path + date +".png"
        dst = cv2.resize(image_gs,(250,250))
        cv2.imwrite(path, dst)

        f = pd.DataFrame(columns=["x:data","y:data"])
        xdata = path
        ydata = 0
        new_name = pd.Series([xdata,ydata],index=f.columns)
        f = f.append(new_name, ignore_index=True)
        f.to_csv('C:\Users\username\Desktop\output\valu.csv',index=False,header = True )

        test_data = data_iterator_csv_dataset("C:\Users\username\Desktop\output\valu.csv",1,shuffle=False,normalize=True) 


        #ネットワークの構築
        nn.clear_parameters()
        x = nn.Variable((1,3,250,250))
        t = nn.Variable((1,1))
        y = network(x, t)

        nn.load_parameters('C:\Users\username\Desktop\output\yubidata.files/20210108_180946\results.nnp')
        print("load model")

        for i in range(test_data.size):

             x.d, t.d = test_data.next()
             y.forward()
             print(y.d[0])   


    elif   k == ord('q'):
             # 「q」キーが押されたら終了する

        break

 # キャプチャをリリースして、ウィンドウをすべて閉じる
cap.release()
cv2.destroyAllWindows()

Answer 1

すみません，そのブログ書いたものです．

具体的にやりたいこと

• 1フレームごとに１枚の画像に対して26のラベルのどれかを推論する

すでに学習済みで.nnpファイルがある．
と勝手に仮定します．

疑問

• valu.csvは何のために使っているデータでしょうか？

余分なところ

• 2回この処理が入ってますが，初めの方は消しても良いと思います．

        #ネットワークの構築
        nn.clear_parameters() 
        x = nn.Variable((1,3,250,250))
        t = nn.Variable((1,1))
        y = network(x, t)

        nn.load_parameters('\Users\username\Desktop\output\yubidata.files/20210108_180946\results.nnp')
        print("load model")

前回述べたかもしれませんが，
valu.csvは推論に使うための私が作ったcsvファイルでした．
そのため1フレームの画像パス１つだけが格納されていれば良いです．
(yのラベルは適当でよい)
つまり，画像の2行目までで良い(いまのｃｓｖファイルの形式だと２～２７行目までの画像が読み込まれてそれに対して一枚ずつ推論した結果が出力される)

あと出力されるデータ(y.d[0])はＡとはでません．
[0.9,0.1,0.0 ...]
のように26次元の確率分布？のリストが出力されます．
この場合は一枚の画像の推論結果は
0番目の確率が90%, 1番目の確率が10%を意味する．

蛇足

このサイトのようにcsvファイルを介さずに画像を渡した方が，賢いです．
こうすることで無駄なcsvファイル(valu.csv)を作らないで済むのでパフォーマンスも良い．

https://arkouji.cocolog-nifty.com/blog/2019/02/sony-neural-net.html

Comments

[jbpb0]

質問者さんへ

コードの
print(y.d[0])
のすぐ下に
print(np.argmax(y.d[0]))
を(インデントを合わせて)追加したら、何番目が一番確率が高いか表示されると思います
ただし、順番は1からではなく0から数えます

もし、学習させたときの教師データの順番がアルファベット順(A, B, C...X, Y, Z)だったなら、
class_names = ['A', 'B', 'C', (略) 'X', 'Y', 'Z']
をコードの
cap = cv2.VideoCapture(0)
のすぐ上に(インデントを合わせて)追加して、このコメントの最初に書いた
print(np.argmax(y.d[0]))
のすぐ下に
print(class_names[np.argmax(y.d[0])])
を(インデントを合わせて)追加したら、推定結果がアルファベットで表示されると思います
上記 class_names =... の(略)は、省略しないで全部書いてください

手元で動かせないので、もしかしたら書き方のミスを見落としてるかもしれませんが、基本的にはこんな感じでやります

Answer 2

プログラムの最初に

import nnabla as nn

を追加してください。