検知動体を矩形で囲む。

Question

OpenCVを用いて、フレーム差分で取得した動体を矩形で囲みたいのですが、自分の書いたコードでは何も表示されず解決方法がわからなかったので質問させていただきました。下記のコードでもプログラムは一応動くのですが人が矩形で囲まれることはなかったです。](1bf2f3f3988490d013258a688d4b194b.jpeg)

コード
import cv2
import numpy as np

# フレーム差分の計算
def frame_sub(img1, img2, img3, th):
    # フレームの絶対差分
    diff1 = cv2.absdiff(img1, img2)
    diff2 = cv2.absdiff(img2, img3)

    # 2つの差分画像の論理積
    diff = cv2.bitwise_and(diff1, diff2)

    # 二値化処理
    diff[diff < th] = 0
    diff[diff >= th] = 255
    
    # メディアンフィルタ処理（ゴマ塩ノイズ除去）
    mask = cv2.medianBlur(diff, 3)

    return  mask


def main():
    # カメラのキャプチャ
    cap = cv2.VideoCapture(r'C:\Users\Gen\Videos\VideoProc\WIN_20190215_11_24_25_Pro.mp4')
    kernel = np.ones((50,50),np.float32)/2500
    
    # フレームを3枚取得してグレースケール変換
    frame1 = cv2.cvtColor(cap.read()[1], cv2.COLOR_RGB2GRAY)
    frame2 = cv2.cvtColor(cap.read()[1], cv2.COLOR_RGB2GRAY)
    frame3 = cv2.cvtColor(cap.read()[1], cv2.COLOR_RGB2GRAY)

    while(cap.isOpened()):
        # フレーム間差分を計算
        mask = frame_sub(frame1, frame2, frame3, th=30)
        closing=cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)
        opening=cv2.morphologyEx(closing, cv2.MORPH_CLOSE, kernel)
        for rect in closing:
            cv2.rectangle(frame2, tuple(rect[0:2]),tuple(rect[0:2] + rect[2:4]), (255, 255, 255), thickness=2)
        

        # 結果を表示
        cv2.imshow("Frame2", frame2)
        cv2.imshow("Mask", closing)

        # 3枚のフレームを更新
        frame1 = frame2
        frame2 = frame3
        frame3 = cv2.cvtColor(cap.read()[1], cv2.COLOR_RGB2GRAY)
            
        # qキーが押されたら途中終了
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    cap.release()
    cv2.destroyAllWindows()
cv2.namedWindow("Frame2", cv2.WINDOW_NORMAL)
cv2.namedWindow("Mask", cv2.WINDOW_NORMAL)


if __name__ == '__main__':
    main()

Answer 1

変数 closing はただの2値画像でないですか？
print(closing.shape, closing) として変数の中身を確認してみてください。
なのでfor rect in closing としても rect に矩形の情報は入らないです。

その左下の人を囲みたい場合は、
cv2.findContours() で輪郭抽出したあと、cv2.boundingRect() で輪郭の外接矩形を取得してください。

輪郭に外接する長方形を取得する。

Comments

[mosu]

ご回答ありがとうございます。
改良し動かしてみたのですがうまくいきませんでした。
閾値などをいじるとよいのでしょうか？

import cv2
import numpy as np

# フレーム差分の計算
def frame_sub(img1, img2, img3, th):
# フレームの絶対差分
diff1 = cv2.absdiff(img1, img2)
diff2 = cv2.absdiff(img2, img3)

# 2つの差分画像の論理積
diff = cv2.bitwise_and(diff1, diff2)

# 二値化処理
diff[diff < th] = 0
diff[diff >= th] = 255

# メディアンフィルタ処理（ゴマ塩ノイズ除去）
mask = cv2.medianBlur(diff, 3)

return mask

def main():
# カメラのキャプチャ
cap = cv2.VideoCapture(r'C:\Users\Gen\Videos\VideoProc\WIN_20190215_11_24_25_Pro.mp4')
kernel = np.ones((50,50),np.float32)/2500

# フレームを3枚取得してグレースケール変換
frame1 = cv2.cvtColor(cap.read()[1], cv2.COLOR_RGB2GRAY)
frame2 = cv2.cvtColor(cap.read()[1], cv2.COLOR_RGB2GRAY)
frame3 = cv2.cvtColor(cap.read()[1], cv2.COLOR_RGB2GRAY)

while(cap.isOpened()):
# フレーム間差分を計算
mask = frame_sub(frame1, frame2, frame3, th=30)
closing=cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)
opening=cv2.morphologyEx(closing, cv2.MORPH_CLOSE, kernel)
ret,thresh = cv2.threshold(frame2,127,125,0)
imgEdge,contours,hierarchy = cv2.findContours(frame2,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
cnt = contours[0]
x,y,w,h = cv2.boundingRect(cnt)
img = cv2.rectangle(frame2,(x,y),(x+w,y+h),(0,255,0),2)

# 結果を表示
cv2.imshow("Frame2", frame2)
cv2.imshow("Mask", img)

# 3枚のフレームを更新
frame1 = frame2
frame2 = frame3
frame3 = cv2.cvtColor(cap.read()[1], cv2.COLOR_RGB2GRAY)

# qキーが押されたら途中終了
if cv2.waitKey(1) & 0xFF == ord('q'):
break

cap.release()
cv2.destroyAllWindows()
cv2.namedWindow("Frame2", cv2.WINDOW_NORMAL)
cv2.namedWindow("Mask", cv2.WINDOW_NORMAL)

if __name__ == '__main__':
main()

[tiitoi]

frame2 は2値化前の画像ですよね？そうではなく、2値化後の質問欄右側の画像 (closing) を findContours() に渡してください。
あと cnt = contours[0] ですと、抽出される輪郭は1つとは限らないので、複数検出された場合は1つ目しか描画されないことになります。

[mosu]

矩形生成できました。
ありがとうございます。