openCV 色の判定について

Question

pythonを用いたopenCVについて質問です。

行いたいこと

ハフ変換により検出した球体の色を調べ、何色の玉か判定する。
玉には目的とする色(赤や青)の外に不要な色(白と黒)が混ざっているので、HSV変換を用いて不要な色を除いたものだけで判定したい。
中心から周囲(円形)の画素を調べることで色を判定できるのかが分からないです。それとも、もっと簡単な判別方法がありますでしょうか。

行ったこと

エッジ処理→ハフ変換→円の中心の座標を求める

# -*- coding: utf-8 -*-
 
import cv2
import numpy as np 

#入力画像の読み込み
img = cv2.imread(r'画像へのパス')

#Gray Scaleへ変換
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
 
#Sobelフィルタでx方向のエッジ検出
gray_sobelx = cv2.Sobel(gray,cv2.CV_32F,1,0)
 
#x方向のエッジ検出結果表示
#cv2.imshow('gray_sobelx',gray_sobelx)
 
#Sobelフィルタでy方向のエッジ検出
gray_sobely = cv2.Sobel(gray,cv2.CV_32F,0,1)

#8ビット符号なし整数変換
gray_abs_sobelx = cv2.convertScaleAbs(gray_sobelx) 
gray_abs_sobely = cv2.convertScaleAbs(gray_sobely)
 
#重み付き和
gray_sobel_edge = cv2.addWeighted(gray_abs_sobelx,0.5,gray_abs_sobely,0.5,0) 
 


img=gray_sobel_edge.copy()
img = cv2.medianBlur(img,5)
cimg = cv2.cvtColor(img,cv2.COLOR_GRAY2BGR)

circles = cv2.HoughCircles(img,cv2.HOUGH_GRADIENT,1,40,
                            param1=149,param2=15,minRadius=8,maxRadius=11)


circles = np.uint16(np.around(circles))

#結果用の画像
result = cv2.imread(r'画像へのパス')

#中心の描写
for i in circles[0,:]:
    cv2.circle(result,(i[0],i[1]),1,(0,0,255),3)


#結果の表示
cv2.imshow('detected circles',result)


cv2.waitKey(0)
cv2.destroyAllWindows()

Comments

[fana]

> 玉には目的とする色(赤や青)の外に不要な色(白と黒)が混ざっている
これは，例えば「赤い玉」の表面全てが赤いわけではなく，白や黒で何かしらの模様が描かれている的な話ですか？

Answer 1

以下のようにしてみてはどうでしょうか。

1. 2値化後に輪郭抽出して、各円を取り出す。
2. 各円内の色に対して、k-mean クラスタリングを行い、代表色を計算する。

以下、OpenCV のチュートリアル

OpenCVのK-Meansクラスタリング — OpenCV-Python Tutorials 1 documentation

サンプルコード

import cv2
import numpy as np
import matplotlib.pyplot as plt


# 画像を読み込む。
img = cv2.imread(r"sample.png")

# HSV に変換する。
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

# 水色かどうかで2値化する。(水色は0、それ以外は255)
binary = cv2.inRange(hsv, lowerb=(95, 0, 0), upperb=(100, 255, 255))
binary = ~binary

# メディアンフィルタで端をなめらかにする。
binary = cv2.medianBlur(binary, 7)

# 輪郭抽出を実行する。
contours, hierarchy = cv2.findContours(
    binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
)

for cnt in contours:
    # ROI 領域以外をマスクする。
    mask = np.zeros_like(img)
    cv2.drawContours(mask, [cnt], -1, color=(255, 255, 255), thickness=-1)
    masked = img & mask

    # 色一覧
    colors = masked.reshape(-1, 3)
    colors = colors[(colors != 0).all(axis=1)]  # 黒は除く

    # k平均法でクラスタリングする。
    k = 3
    criteria = cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0
    ret, label, center = cv2.kmeans(
        colors.astype(np.float32), k, None, criteria, 10, cv2.KMEANS_RANDOM_CENTERS
    )

    # 円の中に含まれる代表色 Top3 を可視化する。
    fig, [ax1, ax2] = plt.subplots(1, 2, figsize=(10, 5))
    # 各クラスに属するサンプル数を計算する。
    height = [np.count_nonzero(label == i) for i in range(k)]
    # 各クラスたの色を取得する。matplotlib の引数の仕様上、[0, 1] にして、(R, G, B) の順番にする。
    rep_color = (center / 255)[:, ::-1]

    # 画像を表示する。
    ax1.imshow(cv2.cvtColor(masked, cv2.COLOR_BGR2RGB))
    ax1.set_axis_off()

    # ヒストグラムを表示する。
    ax2.barh(np.arange(k), height, color=rep_color, tick_label=height)
    plt.show()

Comments

[fana]

主要な色を決めるのにざっくりとkmeansを使うのはなるほどなぁ，と思ったので高評価を入れました．

初期クラスタ中心(乱数?)次第で主要色が１クラスタにまとまらずに複数個のクラスタに分かれてしまう（→結果として他の色の頻度を下回ってしまう）可能性を考慮すると，複数回試行した結果から決める等すると良いのかもしれません．
（KMEANS_RANDOM_CENTERSをKMEANS_PP_CENTERSに変えればそういった可能性がいくらか緩和するのかも？）

[tiitoi]

確かに、初期値依存を減らすのに KMEANS_PP_CENTERS で kmeans++ を使うようにしたほうが安定しそうですね。
アドバイスありがとうございます。

[fana]

玉の色の種類が既知な実施形態の場合には，それらの色（と，ノイズである白や黒）をクラスタ中心に使う感じになりますかね．

Answer 2

HSV変換を用いて不要な色を除いたものだけで判定したい。

中心から周囲(円形)の画素を調べることで色を判定できるのかが分からないです。

円の内部の画素群を走査して色を調べる際に「彩度Sがある閾値に満たない画素は無視する」ような形にすれば良いのではないでしょうか．
(実際上は，明度の閾値も適当に与えた方がよいハズ)
残った（彩度をある程度持つ）画素群の色相(H)の平均なりから結果を決定すれば良いでしょう．

候補の色が既知である（例えば，赤青黄の３種類のどれかだと事前にわかっているような）場合には，画素値(色相だけでも良いかも)のSSDだとか相関係数的な物を評価して，どの候補色に最も近いかを判定すれば良いでしょう．

---

追記：
（前処理にハフ変換を用いる関係で）エッジ強度に関するデータが得られているなら，エッジ強度が強い画素も無視すると良いかもしれません．