質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
CNN (Convolutional Neural Network)

CNN (Convolutional Neural Network)は、全結合層のみではなく畳み込み層とプーリング層で構成されるニューラルネットワークです。画像認識において優れた性能を持ち、畳み込みニューラルネットワークとも呼ばれています。

Leap Motion

Leap Motionは、Leap Motionによって開発、販売している、手のジェスチャーでパソコンを操作できるデバイスです。

Q&A

解決済

1回答

689閲覧

学習済みモデルにLeapMotionのデータを入力し識別を行う

huton

総合スコア30

CNN (Convolutional Neural Network)

CNN (Convolutional Neural Network)は、全結合層のみではなく畳み込み層とプーリング層で構成されるニューラルネットワークです。画像認識において優れた性能を持ち、畳み込みニューラルネットワークとも呼ばれています。

Leap Motion

Leap Motionは、Leap Motionによって開発、販売している、手のジェスチャーでパソコンを操作できるデバイスです。

0グッド

0クリップ

投稿2020/12/12 15:49

編集2020/12/13 07:36

質問内容

こちらのサイト(python+keras+LeapMotionで手の形の判別をしてみた。)を参考にLeapMotionによって計測した手の関節のデータをもとに作成したデータセットをCNNに通し学習済みモデルの作成を行いました。
このモデルと取得した手の関節のデータを使ってこのサイト内の学習済みモデルを復元するに書かれているようなラベルの識別をリアルタイムでやってみたいと考えています。
なので模様見まねでやってみたのですがサイトの

>>> clf.predict([X_last]) array([2])

ように文字が表示されません。
これは識別が行えているのでしょうか?

ソースコード

最終的にはOpenCVのカメラ画像と合わせたいので、while文で書いてます。

import Leap, sys, time import keras import numpy as np from keras.models import load_model controller = Leap.Controller() date=np.arange(63,dtype = 'float64')#配列作成 class frameframe(): finger_names = ['Thumb', 'Index', 'Middle', 'Ring', 'Pinky'] bone_names = ['Metacarpal', 'Proximal', 'Intermediate', 'Distal'] def onframe(self): f = controller.frame() for hand in f.hands:  self.arm = hand.arm direction = hand.direction for finger in hand.fingers: for b in range(0, 4): bone = finger.bone(b)              #計63個の手の関節のデータ              if self.finger_names[finger.type] == 'Thumb':   if self.bone_names[bone.type] == 'Metacarpal':   self.Thumb_meta_x=bone.direction.x   self.Thumb_meta_y=bone.direction.y   self.Thumb_meta_z=bone.direction.z   if self.bone_names[bone.type] == 'Proximal':    self.Thumb_prox_x=bone.direction.x    self.Thumb_prox_y=bone.direction.y    self.Thumb_prox_z=bone.direction.z ------------------------------省略------------------------------------- if self.bone_names[bone.type] == 'Intermediate': self.Pinky_inter_x=bone.direction.x self.Pinky_inter_y=bone.direction.y self.Pinky_inter_z=bone.direction.z if self.bone_names[bone.type] == 'Distal': self.Pinky_dist_x=bone.direction.x self.Pinky_dist_y=bone.direction.y self.Pinky_dist_z=bone.direction.z model = load_model("save_model.h5") # 学習済みモデルをロード while True: f = controller.frame() test=frameframe() if f.hands.is_empty:#手をかざしてないとき print("not hand")    if not f.hands.is_empty:#手をかざしているとき print("not hand") test.onframe()#関数を読んで手の関数のデータの取得を行う           #取得したデータを配列に当てはめる date[0]=test.Index_dist_x date[1]=test.Index_dist_y date[2]=test.Index_dist_z date[3]=test.Index_inter_x ------------------------------省略------------------------------------- date[60]=test.arm.direction.x date[61]=test.arm.direction.y date[62]=test.arm.direction.z date=date.reshape(1,63)#配列の形を整える model.predict([date])#ラベルの識別 date=np.arange(63,dtype = 'float64')#配列リセット

実行結果

・ ・ ・ not hand not hand not hand hand hand hand ・ ・ ・

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

mozi=model.predict([date]) print(mozi)

何か変数に入れてprintしたら表示できました。

[[0,0,1,0,0]]

値が1の位置が識別した結果のラベルの位置です。

投稿2020/12/13 08:02

huton

総合スコア30

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問