背景差分による動体検知後の識別

Question

背景差分により動体検知を行い、動体を矩形で囲んだあとに矩形で囲まれた対象に対して人であるかどうかの識別をしたいのですが、どのようにしたら実現できるでしょうか？
すでに人認識用のカスケードはあります。
bodycascade = cv2.CascadeClassifier(r'bodycascades.xml')

import numpy as np
import cv2
import sys

path=(r"mp4")
cv2.ocl.setUseOpenCL(False)


#read video file
cap = cv2.VideoCapture(path)


fgbg = cv2.createBackgroundSubtractorMOG2(500,150,False)


while (cap.isOpened):

    #if ret is true than no error with cap.isOpened
    ret, frame = cap.read()


    if ret==True:

        #apply background substraction
        fgmask = fgbg.apply(frame)
        blur=cv2.GaussianBlur(fgmask,(15,15),0)


        (im2, contours, hierarchy) = cv2.findContours(fgmask.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
        
        #looping for contours
        for c in contours:
            if cv2.contourArea(c) < 15000:
                continue

            #輪郭から矩形を作る
            (x, y, w, h) = cv2.boundingRect(c)
           

            #矩形を描画
            rect=cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
        
        cv2.imshow('foreground and background',fgmask)
        cv2.imshow('rgb',frame)
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
cv2.namedWindow("foreground and background", cv2.WINDOW_NORMAL)
cv2.namedWindow("rgb", cv2.WINDOW_NORMAL)


cap.release()
cv2.destroyAllWindows()

Answer 1

カスケードは以下のように使うものなので、

import cv2

# カスケードを作成する。
body_cascade = cv2.CascadeClassifier('haarcascade_fullbody.xml')

img = cv2.imread('test.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

bodies = body_cascade.detectMultiScale(gray)
print('detection', len(bodies))

for x, y, w, h in bodies:
    print(x, y, w, h)
    cv2.rectangle(img, (x, y), (x + w, y + h), (255, 0, 0), 2)

以下のような関数を作って検出があったら人と判断してはどうでしょうか

import cv2

# カスケードを作成する。
cascade = cv2.CascadeClassifier('haarcascade_fullbody.xml')

def is_human(img, cascade):
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    results = cascade.detectMultiScale(gray)
    
    # 最低1つでも検出されたかどうか
    return len(results) > 0


roi = img[ymin:ymax, xmin:xmax]  # 元の画像から対象領域を切り抜き
print(is_human(roi, cascade))

Comments

[mosu]

回答ありがとうございます。
では、検知物に限定して認識を行うというのはカスケードを使ってでは難しいということでしょうか。

[tiitoi]

回答の下段に書いたように矩形の部分の画像を detectMultiScale() に渡して検出を実行し、検出数が1以上かどうかで判断するのではダメなのでしょうか？

[mosu]

ありがとうございます。
そうさせていただきます。