姿勢推定や行動分類のpythonフレームワーク

Question

前提・実現したいこと

大学院の研究室で、人間の姿勢推定や。行動分類をしたいと思っています。しかしながら情報科学の専門でないもので周りに質問できる人がいなくて困っています。Pythonの機械学習フレームワークとしてTensorFlow, Pytorch. Chainerなどがあることを知りました。
その中でも特にMachine Visionの分野で有用なフレームワークはどれでしょうか。
ちなみに用途としては3DConvNetsの導入も考えています。
どんな理由でいいので、（実装しやすいや、デフォルトモデルの性能がよい、など）どうかよろしくお願いします。

Answer 1

その中でも特にMachine Visionの分野で有用なフレームワークはどれでしょうか。

どれを選ぶかは好みの問題ですが、個人的には以下の理由で TensorFlow をおすすめします。

1. 一番人気のフレームワークなので、コミュニティが大きい

→ 論文の実装例を GitHub で探すと、TensorFlow である場合が多い。Stack Overflow にQAがたくさんある。

1. Keras が統合されたので、インタフェースとして使いやすくなった。

→ 昔は API が複雑で使いづらかったのですが、Keras が統合されたので、初心者にも使いやすくなった。

1. もう少しで TensorFlow 2.0 がリリースされる。

→ ごちゃごちゃしていた API が整理されたのと、Chainer、Pytorch のメリットだった Define By Run が使えるようになった。

（実装しやすいや、デフォルトモデルの性能がよい、など）どうかよろしくお願いします。

OpenPose が有名です。

最新の姿勢推定に関する論文は以下のサイトの「Pose Estimation」の欄を参照してください。

Browse state-of-the-art in ML

---

Deep Learning の知識がないといきなり論文を読んだり、実装するのは敷居が高いと思うので、書籍 ゼロから作るDeep Learning や 深層学習 (機械学習プロフェッショナルシリーズ) で基礎知識を押さえておくことをおすすめします。

Comments

[0kcal]

OpenPose
注目すべきといいうか、目立ってると思います。
ただ、確か、商用は、有料他、条件があったと思います。大学だからセーフ？

[tiitoi]

OpenPose は研究目的や個人で試してみるなど商用目的でなければ、無料で使えます。
商用の場合は有料かつスポーツ分野では使用できないという条件があります。
https://flintbox.com/public/project/47343/

[chgrios]

今日研究室のPCでOpenPoseを導入してみたのですが、骨格認識の精度がよく驚きました。しかし動作が重く（研究室PC　GPU：GTX-2080Tiでも） 今のままではリアルタイムで解析するのは難しいのかなと思いました。なにかOpenPoseを高速化する方法や、代替案をご存知でしょうか？最近AzureKinectDKがUSで販売開始されたと聞きましたが、その辺りの実用性などもなにかご存知ではありませんか？

[tiitoi]

すいませんが、姿勢推定の分野について詳しいわけではないので、詳細はわからないです。OpenPose 以外にも姿勢推定のモデルはいろいろあるので、有名なものから片っ端から試してみるしかないと思います。

https://github.com/chenyilun95/tf-cpn
https://qiita.com/KYoshiyama/items/e3ccb9cbf4e9c12be5cd

こちらに精度が高い順にモデルの一覧が載ってます。
https://paperswithcode.com/sota/pose-estimation-on-mpii-human-pose

[0kcal]

2080で、リアルタイムで動かないことは、ないと思います。余裕のはず。
よほど、画像サイズが大きい？
あと、高速化の手段も、沢山、あると思います。一例として、ネットワークモデルに、速いのを使うなど。