PythonのOpenCVを利用して耳の検出を行う

Question

pythonの画像認識であるOpenCVを利用して左右両耳の検出を行いたいのですがうまく出来ません。インターネットにある顔認識のソースコードをもとに耳を検出するための「haarcascade_mcs_rightear.xml」「haarcascade_mcs_leftear.xml」を使用しました。

以下のソースコードで右耳の検出を行った場合、画像のように耳を検出しました

しかし、左耳の場合、画像のままの結果です。検出されない状態です。他の耳の画像で行っても同じ状態です。

ソースコードを左耳のみに設定しても検出ができません。
画像の選択がよくないのか、ソースコードの部分が悪いのかを教えていただきたいです。
また、どのようにソースコードを書き替えるのかを教えていただきたいです。
よろしくお願いいたします。

anacondaを利用しています
pythonの環境は　Python 3.8.3 です。
windowsは8.1です。

import cv2

# create the haar cascade
rear_cascade = cv2.CascadeClassifier('haarcascade_mcs_rightear.xml')
lear_cascade = cv2.CascadeClassifier('haarcascade_mcs_leftear.xml')

# read a file
img_color = cv2.imread('101.jpg')
height,width = img_color.shape[:2]
img_color = cv2.resize(img_color , (int(width*1.0), int(height*1.0)))
img_gray = cv2.cvtColor(img_color, cv2.COLOR_BGR2GRAY)

rears = rear_cascade.detectMultiScale(img_gray, 1.3, 5)
lears = lear_cascade.detectMultiScale(img_gray, 1.3, 5)


# draw rectangles around the ear
for (x, y, w, h) in rears:
    cv2.rectangle(img_color, (x, y), (x+w, y+h), (0, 255, 0), 2)
    roi_gray = img_gray[y:y+h, x:x+w]
    roi_color = img_color[y:y+h, x:x+w]
    rears = rear_cascade.detectMultiScale(roi_gray)
   
    for (x, y, w, h) in lears:
        cv2.rectangle(img_color, (x, y), (x+w, y+h), (0, 255, 0), 2)
        roi_gray = img_gray[y:y+h, x:x+w]
        roi_color = img_color[y:y+h, x:x+w]
        lears = lear_cascade.detectMultiScale(roi_gray)

cv2.imshow("Ears found", img_color)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('101-1.jpg', img_color)

Comments

[1T2R3M4]

learsのforループのインデントはあっていますか。
detectMultiScaleのscaleFactorは適正値ですか。

[takerunmh]

learsのインデントは実行できているので適性だと思います。
scaleFactorの値は顔認識のままです。
数値を変えてみると良いのでしょうか。

[yominet]

＞ソースコードを左耳のみに設定しても検出ができません。
これは具体的にどういったことをしたのでしょうか？

>for (x, y, w, h) in rears:
> (略）
> for (x, y, w, h) in lears:
rearsのループとlearsのループのインデントが違いますがこれでよろしいのでしょうか？

[takerunmh]

>for (x, y, w, h) in rears:
>(略)
を削除し、左耳のみでやってみました。
インデントを先頭に合わせても検出できないです。

[yominet]

他の耳画像では検出できるのか試してみてはいかかでしょうか
＃たとえば、検出できてる右耳画像を反転して左扱いにしてみるとか
＃逆に左耳を右扱いにしてrightearで検出できるか試すなど

私の探し方に問題があるのかもしれませんが
耳検出のモデルはOpenCV3あたりから消えています。
あまり性能が良いモノじゃなかったのかもしれません

[takerunmh]

何枚か試してみました。実際にできるものもあり、できない原因が分かりません。
性能の問題なのかもしれませんね...

Answer 1

走らせていないので外れかも知れませんが、roi_gray = img_gray[y:y+h, x:x+w]の部分で右耳用に加工した画像が代入されていますが、その右耳用の画像で左耳の検出をしようとしているから検出できない、と思います。

対策は、右耳用にくり抜いた画像と左耳用にくり抜いた画像を分けることです。
心配であればくり抜いた直後にcv2.imshow("rear_roi_gray ",roi_gray )と、その直後にcv2.waitKey(0)のようにすればよいと思います。

Comments

[takerunmh]

ありがとうございます。実行してみます。