深度カメラを使わずに映像のみで骨格検出をしたい。

Question

前提・実現したいこと

現在、Kinect v2を使って骨格を検出し、3Dモデルを動かしています。
しかし、Kinect v2は製造終了するため、今後を見越して、プログラムの見直しをすることになりました。

Kinectのような深度カメラを使わずにWEBカメラの安価なカメラだけで、人の骨格を検出することができないか、と相談され、
ウェブ検索などで様々な情報を調べています。

条件は
・商用利用できる技術であること
・1～2か月程度勉強して実現できるような内容
・参考文献が日本語で読める

OpenPose→商用利用不可のため断念
VisionPose→法人向け価格が高価なため保留、他の方法を模索
DeepPose→参考文献が少ない

最終的に実現するには、自分で機械学習や深層学習（ディープラーニング）の分野での理解を深め、
実現するしかないのかなという答えになりつつあります。

OpenCVを利用した機械学習、深層学習に詳しい方が居られましたら簡単でも構いませんので、
その辺りの勉強法などのアドバイスもいただけると嬉しいです。

よろしくお願いいたします。

参考サイト
【悲報】Kinect（キネクト）が販売終了！Kinect以外に代替案として使えそうな案を考えてみた。

Answer 1

推定する骨格の位置情報が 3D と 2D のどちらなのかで意味が変わってきます。

3Dモデルを動かしている とのことなので、おそらく 3D モデルの推定だと思いますが、例に挙げられてる OpenPose は 2D の骨格推定なので、画像のどの位置が手だとかの情報は得られますが、3次元座標の情報は取得できません。

最終的に実現するには、自分で機械学習や深層学習（ディープラーニング）の分野での理解を深め、実現するしかないのかなという答えになりつつあります。

「3d human pose estimation」で調べると、3D姿勢推定に関する情報がいろいろ出できます。
単眼で実現するなら、Deep Learning を使った手法が多いです。

いくつか3次元ポーズ推定について、紹介している記事を上げておきます。

• Openposeの3D化に関する調査
• VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera

参考文献が日本語で読める

論文や解説記事はほぼ英語なので、この条件では無理です。
知らない単語は都度調べれば、読めると思います。

Kinectのような深度カメラを使わずにWEBカメラの安価なカメラだけで

画像の取得は Web カメラでいいと思いますが、Deep Learning を使う手法でリアルタイム (30FPSとか) で骨格推定する場合は GPU が必要なので、Kinect より高くつくかもしれません。
リアルタイムでないなら、CPU でもいけます。

Comments

[pg_hiro]

ご回答いただき、ありがとうございました。

●推定する骨格について
目の前は2Dだけでも大丈夫なんですが、最終的には3次元座標が取れればソフトの拡張ができることも見越しています。

●検索「3d human pose estimation」
英語ですが、色々と参考になりそうなページが見れそうです。
翻訳機能を使って詳しく見ていきたいと思います。
ありがとうございます。

また、参考ページの記載もありがとうございました。

●リアルタイムについて
ソフトを動作する際はリアルタイムでの動作を想定しています。
また、それに見合ったGPUも考慮する必要があることも認識しております。

Answer 2

関係者と相談した結果、機械学習・深層学習を使った方法で一度試すことになりました。
RealSenseを使った深度カメラではやはり製品依存になることや生産中止など、仕様変更が必要になった場合で代替を用意しなければならないことを懸念しています。
なので、機械学習・深層学習で実現できないか試そうと思っています。

ありがとうございました。