画像に色を塗った部分を、検出物として学習させたい

Question

画像の特定部分だけに色を塗って、元の画像のその部分を検出できるような深層学習を行いたいです。

今のところ考えているのは、塗る部分の元の画像の画像値と、色を塗った画素値の対応関係を学習させようと考えてます。
検出物に色を塗った理由としては、先に人の目で判断しなければ、画像からそれを検出できないことが多いためです。

最終目標としては、学習させたモデルを用いて画像を読み込み、検出したい物体の画素値があれば、それを塗った色、例えば黄色に変換し、その画像内に黄色がどれだけあるかを出力できればと思います。

データとしては、元の画像と、それに検出物に色を塗った画像がそれぞれ300枚ずつあります。検出するものの形や大きさは様々ですが、同じような色です。ただ、光の当たり方や影によって多少色が変わります。

この場合、データのラベリングや、トレーニングデータ、テストデータをどのようにつくれば良いかなど教えていただきたく思います。
また、そもそもこのようなことは機械学習で可能でしょうか？初学者なので、まだ学習が浅く理解の及んでない質問かもしれませんが、お答えいただければと思います。

環境は

Windows 10
Python3.6.4
Keras 2.
tensorflow 1.8
GeForce 1050Ti

です。

また何かアドバイス、および参考になるコードなどありましたら教えていただきたいです。
以下参考図です．雲の影と思われる部分を塗りました．
![

Comments

[Q71]

質問の内容が良く理解できないので確認です。
「先に人の目で判断しなければ、画像からそれを検出できないことが多い」のはその通りです。というか、「これが検出したいもの」と教えなければなりません。この「これが検出したいもの」というのが教師データになり、教師データを作る作業をアノテーション（annotate 注釈をつける）といいます。ここで、「画像を塗る」のは、アノテーション作業でしょうか。
そうだとして、「ここが色を塗っているところ」というのを、どのようにして教えますか。
物体検出には、物体とその場所を検出するもの（object detection）と、ピクセル単位で特定の物体かどうかを判断するもの（semantic segmentation）があります。どちらをお望みでしょうか。前者なら「Faster R-CNN」「YOLO」など。後者なら「SegNet」などを調べると良いでしょう。

[Takaya901]

解決したい問題をもう少し具体的に説明していただけますか？検出したい物体はなんなのか，あるいは特定の色であればすべて検出したいのか，人工物なのか自然物なのか，背景は屋外なのか屋内なのか，実際の画像も見せていただけるとイメージしやすいです．
場合によっては機械学習でなくともHSVによる色検出で十分な可能性もあります．

[blackmk]

ご指摘ありがとうございます。
色を塗るのは、教師データを作るためのアノテーション作業になります。後者のSegNetの方で考えていきたいと思いっています。
ありがとうございます。

[blackmk]

Takaya901様，写真の方を追加しましたので，ご確認よろしくお願いします．

[tiitoi]

セグメンテーションのデータセットは画像に対応するアノテーション画像を作成する必要があります。アノテーション画像は各ピクセルを対応するクラスの値 (背景なら値0、クラス1なら値1、...) となるようにペイントツールとかで塗って作成します。
Deep Learning なのでデータ数がある程度必要です。
1クラスだけでも数百枚ほどの画像のバリエーションを用意して、1枚1枚塗ってアノテーションする必要があるので、セグメンテーションのデータセットは作成にかなり手間がかかります。
とりあえず Pascal VOC や MSCOCO など既存のセグメンテーションのデータセットがどうなっているか確認してみてはどうでしょうか。

Answer 1

画像のご提示ありがとうございます．
明るい空の画像から雲の影を抽出したいのであれば，HSVで暗い部分を抽出して小さすぎる領域（ノイズ）だけ弾く，という方法で十分だと思いますがいかがでしょうか．
tiitoiさんがおっしゃるように，セグメンテーションのアノテーションは手間がかかります．

Comments

[blackmk]

確かに，データセット作りが大変そうですね．ご提示いただいた方法で進めてみようと思います！ご回答ありがとうございました！