SegNet のデータセットの自作方法

Question

前提・実現したいこと

こちらのサイトに記載されている画像領域分割プログラムにおいて、
データセットを自分で用意して学習を行いたいのですが、annotファイルの作成の仕方がわかりません。

リンク先のプログラムでは、CamVidというフォルダをデータセットとして用いており、中には以下のようなフォルダが格納されています。

CamVid
  -- test
  -- testannot
  -- train
  -- trainannot
  -- val
  -- valannot

それぞれのフォルダ内には画像ファイルが格納されており、これらの画像ファイルを自分で用意した画像ファイルで置き換えてプログラムを動かしたいのですが、末尾にannotが付いたフォルダ内の画像ファイルをどう用意すればいいかがわかりません。

test画像やtrain画像に対してどのような加工を施せばannotの画像になるのかを教えていただきたいです。

補足情報（FW/ツールのバージョンなど）

開発環境

• Windows7 (64bit)
• Spyder (Python 3.6)
• Keras 2.2.4
• Tensorflow 1.12.0

CPU : Intel(R) Core(TM) i7 970 @ 3.20GHz
メモリ（RAM） : 16.0 GB
GPU : NVIDIA GeForce GTX 570

Answer 1

コメントに付けるものを間違えました

Answer 2

ピクセルごとにクラス番号が振られた画像になっています。
Paint.net などのペイントソフトで読み込み、適当な場所を「似た色選択」します。Paint.net ならマジックワンドで許容率を0にします。選択された範囲を適当に色付けします。そうすると、上記の意味がわかると思います。

Comments

[Teagle333]

画像1つごとに色付け作業をしないといけないということでしょうか？
そうなると、労力がかなりかかりそうなのでもう少し別の方法を探りたいと思います。

加えてもう一つ質問なのですが、CamVidを使い学習させた場合、予測に使うのもCamVidのval内の画像になります。
予測を自分で用意した画像に対して行うには、その画像のannot形式の画像をさらに用意して入力しないといけないのでしょうか？

[Q71]

そうです。1ピクセル毎に色(クラス)付けを行います。この作業をannotation と言います。1ピクセルごと、と書きましたが、例えば木だと、枝の間から見える空は木と扱うようなことになっています。まぁ、上記のアノテーション画像を見る作業は、プログラマティックに行えるので、一度どの様なアノテーションがされているか見ておくと良いと思います。
私は、画像編集ソフトでクラス毎によく見える色に塗り分けたあと、特定の色をクラス番号に変えるツールを…作成しようとして時間が作れずにいます。
CamVidのtrain, val, test は、訓練、確認、テストで、どちらかというとtestが、あなたがおっしゃっている「自分で用意した画像に対して予測する」です。訓練中は、testにもアノテーション画像を用意した方がいいでしょう。出来上がったモデルを検証するためです。実運用では不要です。

[Teagle333]

記載したサイトのプログラムだと、'dataset.py' ～ 'train.py' まででモデルの作成と訓練を実行し、それ以降は 'predict.py' で画像セグメンテーションを行えると思っていたのですが、これだけだと任意の画像のセグメンテーションを行うまでには至らないということでしょうか？
'predict.py' では検証のみで、実運用をするにはさらにプログラムを構築する必要があるのでしょうか？

[Q71]

「train validation test」で検索して、ウィキペディアなどを見ていただければわかりますが、testとvalidationを入れ替えてお使いのようです。
通常、実際に使用するときにはアノテーションはありませんから、アノテーションファイルは不要です。件のコードをざっくり見ましたが、dataset.py の load_data で、label にアノテーション画像を読み込んでいます。この部分でエラーが出そうですね。ただ、predict.pyで使用していなさそうなので、大きさだけ合わせた真っ黒の画像をダミーとして与えればいいと思います。

[Teagle333]

ご返信ありがとうございます。
ご提案のとおり試してみた結果、実行はできたのですがセグメントはうまくできていませんでした。

試した手法としては、
valフォルダにセグメントする画像を、valannotフォルダに真っ黒画像を入れ、それぞれフォルダ内の先頭画像と入れ替えてあります。

segnetのデモを試せるサイト（http://mi.eng.cam.ac.uk/projects/segnet/demo.php#demo）での同じ画像を使った予測だと、きれいにセグメントできました。
これは、デモ版の方が豊富なデータセットを使っているからなのか、もしくは自分のやり方にまだ問題があるのか、どちらなのでしょうか？
プログラムでの予測制度をデモ版に近づけさせるには、やはりデータセットを変えないとだめなのでしょうか？
もし、やり方次第でまだ改善できるのであれば、その方法を教えていただきたいです。
何度も質問してしまって申し訳ないのですが、どうかよろしくお願いいたします。

[Q71]

結論としては、「納得がいくモデルができるまで何度も学習を繰り返す」です。乱数を使うので、不確定です。

[Teagle333]

CamVidのデータセットだけでは、テスト画像以外の正確なセグメントは無理そうなので、他の方法を探ってみようかと思います。
ここまで私の質問にお付き合いいただき、ありがとうございました。