ジェスチャー認識の際に、手が動いている時のみのフレームを取り出したい

Question

ジェスチャー認識をおこなう際に、カメラで常に被写体を撮っている状態で被写体の手が動いているときのみの動画を取り出して認識させたいのですが何か良い方法はありますか？
被写体となる人は上半身全体が映っていて、ジェスチャーは両手で行われるものもあります。
両手をトラッキングするのは難しそうなので、pythonのopencvのオプティカルフローで直近数フレームでの動きが閾値を超えた場合に取り出しを開始する方法などを考えていますが、他にもっと良い方法があれば教えてくださると助かります。

Answer 1

ここで聞くより既存研究にちゃんと当たった方が良さそうですが・・・

• 直近数フレームでの動きが閾値を超えた場合

0.1秒に1回くらいフレームを取り出せばよさそう。あまり頻繁にやると処理負荷がかかります

• Kinectのようなものをさっさと使っちゃう

既存のものを使った方が、本当にやりたいことに集中できます（それを使わないでやるのが目的なんだ！　というケースならすみません・・・）

• 手に加速度センサーを仕込む

安直ですが、それが許されるのであれば有効な選択肢かと

この分野はシロートなので、参考にしすぎないでください。

Answer 2

昨年発表された’OpenPose'(OpenCVがベース）ならばある程度のリアルタイム性があるかと。
ただし条件としてDUDAを必要とするらしいですが。

先日、フリーランスの案件にあったので斜め読みで見ました。
OpenPose

実際に日本で試した方も。
OpenPoseを動かしてみた。

まあまあだと思いますが。