ssd_kerasにおいての学習

Question

Sierra10.12.5

物体検出アルゴリズムSSDを用いて
レンズに移った星を検出して見たいのですが星の画像があまりにも小さいのかうまくいきません。
何かいい方法はありませんか？
ssd_keras
やりたいことのイメージは以下です。
どなたかssd_kerasの学習に詳しい方お願い致します。
またこのような小さい物体をkerasを用いた方法でご存知の方はご教授願いたいです。
画像に移る星自体はせいぜい２０ピクセル＊２０ピクセルくらいです。

画像

検出結果

参考リンク

<?xml version="1.0" encoding="UTF-8"?>
<annotation>
  <folder>XXX</folder>
  <filename>Star1.jpg</filename>
  <source>
    <database>XXX</database>
    <annotation>XXX</annotation>
    <image>XXX</image>
    <flickrid>XXX</flickrid>
  </source>
  <owner>
    <flickrid>XXX</flickrid>
    <name>?</name>
  </owner>
  <size>
    <width>500</width>
    <height>500</height>
    <depth>3</depth>
  </size>
  <segmented>0</segmented>
  <object>
    <name>star</name>
    <pose>Unspecified</pose>
    <truncated>0</truncated>
    <difficult>1</difficult>
    <bndbox>
      <xmin>298</xmin>
      <ymin>80</ymin>
      <xmax>320</xmax>
      <ymax>102</ymax>
    </bndbox>
  </object>
</annotation>

Answer 1

detection系ってだいたい前の層は普通のCNNで学習済みモデル使います。
で後ろの層をdetection層としてファインチューニングするのですが、
VGGの学習済みモデルに「星」って物体がないのではないですかね？
星を学習したVGGの上に後ろの層をファインチューニングで如何でしょうか。

Comments

[LouiS0616]

転移学習できるから、学習済みモデルをみなさん使うんじゃないですかね。
あと、同一の質問に複数の回答を付けないで下さい。回答の加筆修正で対応できるはずです。

[kaitokimura]

ないです。
新たにVGGのモデルに星を学習させ、その上にSSDの層を重ねるということですか？
学習部分につきましては修正で参考リンクを貼らせていただきます。
train.pyという部分です。

[miyamoto0105]

回答に追記とかいう機能あるんですねぇ。VGGに星の分類を追加してみてはどうでしょうか。
あるいはアノテーションの座標データがみたいです。ちゃんと学習用に変換できてますか？
アノテーションツールで出した座標そのまま学習してもダメで変換スクリプト有ると思うのでそれ使ってますかね？

[kaitokimura]

記述いたしました。恥ずかしながらその点でしょうか。
このようなアノテーションデータをpklファイルにまとめているのですが。

[miyamoto0105]

他のdetectionでもやってることなのですが、このあたりで正規化してると思うんです。
https://github.com/rykov8/ssd_keras/blob/master/PASCAL_VOC/get_data_from_XML.py#L25
このスクリプト通されました？変換必要だと思います。

[kaitokimura]

はい。そちらでpklファイルにして第1のエアープレインをスターにしてる感じです。

[miyamoto0105]

ちゃんと座標を変換されてるのであれば問題は別でしょうかねぇ。。

[kaitokimura]

ちなみにですがpklファイルなどから学習画像が適切かどうか可視することはできますか？

Answer 2

星検出の学習済みモデルはないと思いますので、学習データはどうやって作成されましたか？？

あとこのタスクであればopencvのfindcounterでどうでしょうか？
http://tatabox.hatenablog.com/entry/2013/07/21/170755

Comments

[kaitokimura]

回答ありがとうございます。
アノテーションデータをProcessingのアプリにて作成いたしました。
学習はその元画像とどこに認識したいものがうつっているかが記述されているアノテーションデータにて学習いたしました。
拝見させていただきましたがこちらは輪郭検出でしょうか？
大変申し訳ございませんが学習させることにより"自動で物体を検出する"ものとしたいです。
もしくはそのように画像処理でもいいので検出結果を個数で取得できるようなものでもいいかとおもいます。
画面内に星が２個あるなど。（そこまで個数の検出精度にこだわりはありません。）
わがままで申し訳ございません。

[kaitokimura]

追伸：
二値化したところ周りの建物などはうまくいったのですが星はうまくいきませんでした。
検出より前に、前処理で画像が向いてないようです。