写真の特徴をもとに検出したポイントの色濃度を求めたい

Question

前提・実現したいこと

Swift・Python・OpenCV初心者です。
iPhoneで撮影したイメージ内の下記特徴を検出して各ポイントの色濃度を算出したいと考えています。

• イメージの特徴

　・長径(横)：短径(縦)＝20：15程度の緑色の楕円がある
・上記楕円の内側に横並びに並んだ3箇所のポイントA、R、Bがある
・上記楕円の上部に横並びにA、R、Bという緑色の文字が記載されている
・ポイントA、R、Bは上記A、R、Bという各文字の下方にそれぞれ位置する
・ポイントA、R、Bはそれぞれ直径2程度（上記楕円とのサイズ比）の円である
・ポイントAは淡いピンク色であるが白色の場合もある
・ポイントRは白色である
・ポイントBは赤色であるが白色の場合もある
・背景は白色である

上記特徴を元に①〜④を実現したいです。
①ポイントA、R、Bの有無を検出する
②検出されたポイントAとRの色濃度比を算出する
③検出されたポイントBの色濃度を算出する
④上記①で検出無しの場合エラーを表示し、有りの場合②の濃度比を表示する

実現案としてまずはPython・OpenCV等を使用して下記を検討中です。
・楕円を検出する
・A、R、B文字を検出する
・楕円の内側 ＆ 文字Aの垂線上の円をポイントAとする
・楕円の内側 ＆ 文字Rの垂線上の円をポイントRとする
・楕円の内側 ＆ 文字Bの垂線上の円をポイントBとする

使用に適した関数などありましたらなんでも構いませんのでアドバイスいただけると幸いです。
よろしくお願いします。

Comments

[fana]

> iPhoneで撮影した

撮影具合によって考慮すべき事柄が変わるように思えます．

もっともわかりやすい話としては，
「真正面から回転が無い状態で撮影（撮影結果画像内での図形は提示されている画像のような理想的な状態に極めて近い像となる）」という前提条件があるのか否かによって全然変わりますよね．

他にも
画像の鮮明さとか，サポートすべき図形像のサイズ範囲だとか…
「背景が白」とは言っても，画像上での色は一様ではない可能性もあるでしょうし（陰影とか）．
誤検出しそうな何かが写り込むことがあり得るのか否か次第でパターンの検出処理は大きく変わるでしょうし（あり得ないなら，てきとーな処理で十分だろうし）

提示されたような人工画像を相手にするのと実撮影画像を相手にするのとでは変わってくるところもあるでしょうから，実際の撮影画像の例を数点示すと良いのではないでしょうか．

[fana]

像のサイズ　にも関連しますが，
楕円パターンが安定して得られるような話か否か（楕円の線が途切れてしまう，あるいは上にある文字とくっついてしまう，etc）等によって，処理の取っ掛かりが変わるのではないかと思います．

他にも，特徴パターンが複数存在する場合に互いに近すぎてくっついてしまうとか，いろいろと．

[tochibow]

多々アドバイス頂き感謝致します。ご指摘の点仰る通りと思います。
iPhoneでの撮影を想定しているため、陰影や濃度の誤差は折り込みたいと考えています。まずはフィジビリティ検討の為の要素確認をPythonか Swiftでやりたいと考えています。
楕円のパターンや文字間隔のバラツキは無いものと考えております。あった場合はエラーとする考えです。

Answer 1

[質問への追記・修正、ベストアンサー選択の依頼] の欄に色々と書きましたが，
どの程度 簡単な/面倒な 話なのかによって全然違ってくると思います．

話が簡単な側に関して言うならば，

1. 緑 or Not で２値化

（とりあえずこの処理で楕円の線が途切れないことが大前提．近隣の文字と楕円がくっつくのはOK）
2. 背景を floodFill あたりで「緑」な側の色で塗りつぶす．
結果，「Not」側の領域として残っているのは「楕円の内側」と「文字の内側の小領域」くらいになる．
後者を適当な手段で捨てる．
ここはモルフォロジで潰してしまうのでも良いかもしれないし，「単に面積が小さすぎる」だとか「近隣に自身のN倍以上のでかい面積のやつが存在する」だとかいう条件で捨てるだとか．（小さなその他のノイズもこの処理でまとめて除去されると良い）
3. 残っている「楕円の内側」らしき領域の外周に楕円当てはめを行い，当てはまり具合や径の比率あたりのチェックが通ったものをパターン検出結果候補とする．
4. 3.の結果（楕円サイズや向き）から，「{A,R,B} があるハズの位置」が推定できる（回転を考慮するなら２箇所の候補になるが）から，1.の結果画像上でそこらへんに相応な緑の塊が存在するかどうかをチェックする．
存在していればパターン検出結果とする

くらいでパターン部を見つけられるのではなかろうか．

あとは，元画像上で「3箇所のポイント」の色を調べれば良い．

Comments

[fana]

パターンを「真正面」から撮影する（像が歪まないこと）想定の話だが，像のロール回転に関してはあってもOKな話として書いた．

・ステップ2.の floodFill は話のイメージが掴みやすいように入れてみたが，実際的には後段処理で背景領域を棄却できるだろうから無くてもよい．

・文字の形状（例えば「文字の内側の小領域」とか）を調査対象に使うような話も考えられるが，撮影画像次第ではロバスト性に欠けると思う．

[fana]

CVの関数に関しては，

・「２値化」は threshold や adaptiveThreshold, または色の範囲で inRange を使うとか
・「モルフォロジ」は erode, dilate, morphologyEx など
・「楕円当てはめ」は fitEllipse あたり
・領域の検出は findContours とか connectedComponents系

あたりが使えるかな

[fana]

> 像のロール回転

すら無いという想定なら，元画像を横方向に潰して「円」を検出することから始める手もあるかもね．
（OpenCVでは円の検出に HoughCircles なんてのがある）

[tochibow]

大変参考になる回答ありがとうございます。
頂いた情報をもとにOpenCVで実験してみたいと思います。

Answer 2

Pythonでやるなら以下のようになります。

import numpy as np
import cv2
img = cv2.imread('ARB.png')
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
#cv2.imwrite('ARBgray.png', img_gray)
_, bw = cv2.threshold(img_gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
bw = cv2.bitwise_not(bw)
#cv2.imwrite('ARBbw.png', bw)
contours, hierarchy = cv2.findContours(bw, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
result = cv2.drawContours(img.copy(), contours, -1, color=(255, 0, 0), thickness=2)
cv2.imwrite('ARBc.png', result)

出力

青が輪郭(contours)です。

以下で、個々の輪郭の座標がわかります。

>>> for c in contours:
...     print(cv2.boundingRect(c))
...
(110, 105, 16, 18)
(55, 105, 15, 17)
(21, 50, 138, 101)
(14, 43, 152, 115)
(117, 32, 7, 6)
(62, 29, 5, 6)
(117, 27, 6, 5)
(88, 27, 7, 6)
(114, 25, 12, 14)
(86, 25, 13, 14)
(57, 25, 14, 14)

あとはご自身でやってみてください。

Comments

[fana]

> あとはご自身でやってみてください

とのことですが，「ここからどういう方向で進めるような話が考えられるのか？」という例みたいな話が無いと，この問題に対してアドバイスとなる要素が何なのかがわからないように思えます．

「グレースケールで２値化　→　findContours」というだけの話では，回答内容の意図を掴みかねるというか…
（例えば，パターンの色が明記されている話に対して何故グレースケール処理でいくのか？　等）

[tochibow]

迅速な回答でデモ実装して頂き大変感謝しております。参考にさせていただきます。