OpenCVで全身、上半身を検出する

Question

OpenCVの顔検出を利用し、上半身と全身を検出するプログラムを作成することが目的です。顔を検出することにできました。

import cv2

# create the haar cascade
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')
fullbody_cascade = cv2.CascadeClassifier('haarcascade_fullbody.xml')
upperbody_cascade = cv2.CascadeClassifier('haarcascade_upperbody.xml')

# read a file
img_color = cv2.imread('RAD.jpg')
img_gray = cv2.cvtColor(img_color, cv2.COLOR_BGR2GRAY)

faces = face_cascade.detectMultiScale(img_gray, 1.3, 5)
fulls = fullbody_cascade.detectMultiScale(img_gray, 1.3, 5)
uppers = upperbody_cascade.detectMultiScale(img_gray, 1.3, 5)

print("Found {0} faces!".format(len(faces)))

# draw rectangles around the faces
for (x, y, w, h) in faces:
    cv2.rectangle(img_color, (x, y), (x+w, y+h), (0, 255, 0), 2)
    roi_gray = img_gray[y:y+h, x:x+w]
    roi_color = img_color[y:y+h, x:x+w]
    eyes = eye_cascade.detectMultiScale(roi_gray)
    for (ex, ey, ew, eh) in eyes:
        cv2.rectangle(roi_color, (ex,ey), (ex+ew, ey+eh), (0, 0, 255), 2)

for (x, y, w, h) in fulls:
    cv2.rectangle(img_color, (x, y), (x+w, y+h), (255, 0, 0), 2)
    roi_gray = img_gray[y:y+h, x:x+w]
    roi_color = img_color[y:y+h, x:x+w]
    uppers = uppers_cascade.detectMultiScale(roi_gray)
    for (ux, uy, uw, uh) in uppers:
        cv2.rectangle(roi_color, (ux,uy), (ux+uw, uy+uh), (0, 255, 255), 2)

cv2.imshow("Faces found", img_color)
cv2.waitKey(0)
cv2.destroyAllWindows()

このソースコードを実行した結果が以下の画像になりました。上半身、全身を表示したいのですがエラーもなくどうしたらいいか分かりません。画像が良くないのかソースコードがよくないのか教えて頂きたいです。

Comments

[退会済みユーザー]

たぶん設定が厳しすぎます。夕方までに回答がなければこちらでも調整してみます。

Answer 1

eyes = eye_cascade.detectMultiScale(img_gray,1.3, 5)
faces = face_cascade.detectMultiScale(img_gray, 1.3, 5)
fulls = fullbody_cascade.detectMultiScale(img_gray,1.3, 5)
uppers = upperbody_cascade.detectMultiScale(img_gray, 1.3, 5)
print("Found {0} eyes!".format(len(eyes)))
print("Found {0} faces!".format(len(faces)))
print("Found {0} fulls!".format(len(fulls)))
print("Found {0} uppers!".format(len(uppers)))

のような感じでprintすると、検出した対象物の個数が分かります。
ここで、detectMultiScaleの引数を色々変えてみましたがイマイチ検出は良くなりませんでした。
関数の引数の説明はここが分かりやすいと思います。

ですので、検出に関しては、

画像が良くないのかソースコードがよくない

であれば、「画像が良くない」が答えと思います。Haar-likeの場合、特定の領域の濃淡の分布から「顔らしい」「胴らしい」を検出します。ここから察するに、検出が難しい例は、「横顔に近い写真」「のっぺりとした服」と思います。まさに今回の例です。

---

こういった場合でも検出させようとすると、OpenPose(tf-pose-estimation)YOLOやMRCNNなどが必要になると思います。YOLOであれば比較的高速に領域抽出ができますので、使いやすいかと思います。

Comments

[takerunmh]

ありがとうございます。自分でも他の画像に関して試してみようと思います。YOLOというのも使用してみます。