ひとの動きに合わせてアバターを動かしたい

Question

カメラで人を映しその人とカメラの中の3Dのアバターが同じ動きになるというようなものを再現したいのですが、どのようにすればいいのかが全く分かりません。
人の動きを取得するといったものはわかるのですが、それを3Dの人に合わせて動かす(表示する)といったVTuberのようなものを作るにはどのようにすればいいのかがわかりません。
ご教授よろしくお願いします。

Comments

[退会済みユーザー]

Unityタグをつけると詳しい人からアドバイスをもらえる可能性がかなり高くなるはずです。

Answer 1

1.カメラ
whileループでずっとカメラのフレームをとらえ続ける必要があります。
OpenCVでよいでしょう。

2.人間の姿勢推定
ライセンス的にOpenPoseはあんまりなところがあるので、Googleの出しているMediaPipeが良いと思います。こちらはSingleShotPoseをベースにCPUでも十分な速度で姿勢推定できるように最適化されています。

※Googleのリファレンスのコードを使えば1,2は1時間もあれば使えるレベルに持っていけます。

3.AR
何とかして2の姿勢とアバターの骨格をリンクさせる必要があります。たぶんUnityとかを使うのでしょうが、少し調べただけではPythonで無料で使えそうなものは見当たりませんでした。C++で自力でやっている猛者の記事はありますので、あと半年か一年もすればどこかの誰かがPythonのこういうのをMITライセンスで公開してくれる――かもしれません。Youtubeでの解説はありました。動画としてソースコードは映っていますが、実際に使えるソースコードは探さないといけませんねありました。中国人スゲー、しかもMITライセンス。