OpenCV opencv_createsamplesのポジティブ画像について

Question

MacOS Sierra + OpenCV2.4.5 で画像の機械学習と格闘しています。まだ触り始めて１ケ月くらいです。

opencv_createsamplesコマンドで使用する「ポジティブ画像」について、以下をご教示頂ける方がいらっしゃったらありがたいです。くれくれな内容で申し訳ありません。「そもそも考え方が間違えている」という指摘でも大丈夫です。

希望としては、とあるスポーツの人間の動きを学習させたいと考えています。現在、学習すればするほど精度が落ちる、という現象がありまして、教え方が悪いのだろう、と思っています。

1. opencv_createsamples -info、として、人と一緒に様々な背景が写り込んだ画像が適しているのでしょうか？それとも人画像部分をいくつかに分割した方がいいのでしょうか？

2. この時、24px X 24px の縦横幅が最適なのでしょうか？それとも一番大きなサイズの画像中の、人が丸ごと入る長方形サイズがいいのでしょうか？ちなみに80px幅くらいでPC自体が悲鳴をあげてSTOPします。

3. カラー写真のまま、ポジティブ画像としてもいいのでしょうか？それとも16色などに減色した方がいいのでしょうか？

＊動きのある人物、物体を学習するにあたって、効果的なポジティブ画像、ネガティブ画像の作成方法、サイズ、コマンドの引数等があれば、ご教示頂けると。。

よろしくお願い致します。

Answer 1

すみません、OpenCVベースではなく画像処理的な観点で回答させていただきますね
こういうタスクを考える時は、やりたいことを上手く学習できるようにデータを前処理してお膳立てできるかということにかかっています
今回のタスクでいうと、「とあるスポーツの人間の動きを学習させたい」ということですので、一旦分類問題としますね。
その人間の動きを、質問者様自身が分類した時に、どこを見ているかがキーになります
この前提を踏まえた上で、以下回答です

1.opencv_createsamples -info、として、人と一緒に様々な背景が写り込んだ画像が適しているのでしょうか？それとも人画像部分をいくつかに分割した方がいいのでしょうか？
「とあるスポーツ」の背景は常に似たような背景になりますか？背景が多様的な程、人の動きを学習するときに背景部分がノイズとなり、学習が難しくなります
例えば野球１つにおいても、河川敷の草野球と神宮球場のプロ野球では背景が全く変わってきます
そのため、背景が同じようになるようにタスクを分ける（野球の動き、でも草野球とプロで別の学習タスクとする、はたまた草野球１つでも場所によって背景がかなり変わるのであれば場所ごとに分ける等）か、多様性を理解できるほど大量のデータを学習させるか、仰ったように人の部分だけ切り取るのが良いでしょう

2.この時、24px X 24px の縦横幅が最適なのでしょうか？それとも一番大きなサイズの画像中の、人が丸ごと入る長方形サイズがいいのでしょうか？ちなみに80px幅くらいでPC自体が悲鳴をあげてSTOPします。
極端な話ですが、24x24を肉眼で見たときにその画像を分類できるか、です
オーバーなポーズであればできるかもしれません。あくびと大笑い１つとっても、細かい動きを分類するには大きい方が良いと思いますが、PCのスペックや学習時間とのトレードオフになるので、24x24でやってみて、精度が出なかったら少しずつ上げてみるのがいいのではないでしょうか

3.カラー写真のまま、ポジティブ画像としてもいいのでしょうか？それとも16色などに減色した方がいいのでしょうか？
例えば白黒にしても「とあるスポーツの人間の動き」は認識できますか？
カラー特有の特徴（例えばとあるポーズのときだけ頭が赤く光る等）があるのであればカラーの方がいいですが、そうでなければ減色した方が学習時間も削減できます
ただ、1で人だけ抜き出さなかった場合は、機械が人である部分を学習するのに肌色等を見ているかもしれないので、カラーの方がいい場合もあります
背景が複雑でなければ輪郭だけで人も動きも認識できそうだから白黒にしよう、とかそういう観点ですね

Comments

[SaintKnowledge]

返信が遅れて申し訳ありませんでした。
とても参考になります。画像処理に関しては、もっと勉強することが多そうです。
ありがとうございました。