深層学習の動画学習について

Question

やりたいこと

Chainerでの深層学習で動画を分類させるようなプログラムを組みたいです。
分類させたいのは動画に写っている「物」の分類ではなく「動き」です。（スポーツのフォームなどです）

現状

現在ネットで調べたりしているのですがうまくヒットせず、MNISTの手書き文字分類のソースコードを動画用に改造しようとしましたがうまくいきませんでした。

お願いしたいこと

知りたいことは以下の通りです。
・動画を学習、分類する深層学習のソースコードがあるのか
・画像分類のソースコードを改造して行う場合はどのようにすれば良くどのコードが改造に適しているのか、或いはそもそもできないのか
・上記二つが無理な場合コードを手書きする必要があると思いますがどのように実装すれば良いのか
・その他解決法

以上です。

面倒な質問ではあるかと思いますが部分的にでもChainerでなくとも良いので、どなたかご回答いただけると幸いです。

Answer 1

まず思いついたのは各フレームを CNN で特徴抽出して、時系列データとして LSTM に流すことですかね
3D Convolution を使う方法もあるようです。

Five video classification methods implemented in Keras and TensorFlow

「video classification deep learning」などで検索すると、github にサンプルがあったりします。
自分は動画の分類はやったことがないので参考までに。

Comments

[hayataka2049]

それだと重厚で大変そうなので、人物検出する、ボーン検出するといった工夫をすると良いのかもしれません

[退会済みユーザー]

titoi様
回答ありがとうございます。
ご提示いただいたサイトやワードで調べて取り組んでみようと思います。

[退会済みユーザー]

hayataka2049様
コメントありがとうございます。
open pose　などで検出・出力した動画をtiitoi様のやり方で学習させるということでしょうか？

[hayataka2049]

ボーン検出して関節の角度の特徴量に還元したらどうだろう？　という趣旨のコメントでした

[退会済みユーザー]

ありがとうございます。
そちらの方法も調べてみます。