CNNで物体の向き検出

Question

実現させたいこと

CNNで水槽の中にいる10匹の魚の向きをそれぞれ出力させたい。
(画像のような魚が群れで10匹泳いでおり、30fpsの動画が10分ほどあります。)

######現状
各魚の位置は検出できており局所画像はたくさん用意でき、入力画像には問題がない。

######問題点
結論から言うと向きの出力のさせ方が分からない。
サンプルプログラムなどの簡単なCNNを動かしたことはあります。
その際、3種類の料理の画像を分類するようなものだったので、画像を3つのラベルに振り分けて学習させれば新しい画像を見せた時に料理の名前を出力させることができました。
しかし、今回は魚の向きを検出しなければならないのでラベルを付ける（例えば時計でいう12時を0度と置くならば画像の魚は320度とラベル付け）となると膨大な量になりますし、ラベル一つ一つの画像の量がバラバラなので正しく学習されないと思うのですが、ほかにCNNを使う場合の手法を教えていただけないでしょうか？
CNNで対象の向きを検出している論文や記事を紹介していただけるだけでもありがたいです。
######追記
CNNではなく背景差分を使えば前後のフレームからベクトルを簡単に算出することができることは分かっているのですが違うアプローチをしてみたいということでCNNを使おうと考えています。

Answer 1

オタマジャクシの向きごとにラベリングするのは画像データが膨大になるし、作業コストも高いのでナンセンスだと思います。

画像処理で魚の向きを計算するのはだめなんですか？

1. 魚の位置が確認できているということなので、その座標を中心に四角く画像を切り取りとる。
2. 輪郭抽出
3. 向き計算　参考リンク

これでいけそうです。

Answer 2

「ラベルを付ける（例えば時計でいう12時を0度と置くならば画像の魚は320度とラベル付け）となると膨大な量になりますし、」
→教師データ(向きのラベル付きの魚の画像)が無いと学習するのは恐らく難しいです。インターネット上でデータが落ちていないか探すのも1つの手です。

「ラベル一つ一つの画像の量がバラバラなので正しく学習されない」
→教師データを0°,90°,180°,270°と回転させる(ラベルもそれに合わせて変更します)と教師データの偏りが少なくなると思います。

https://arxiv.org/pdf/1703.01086.pdf

この論文は文字の検出ですが、角度に関するアプローチをしているで参考になるかと思います。

簡単に言うと、魚の位置の検出をCNNで行なっているなら、向きのパラメータを追加してやれば良い。