OpenCVで動体検知をかけたいです

Question

前提・実現したいこと

OpenCVで録画した映像に動体検知をかけるコードを作っています。
フレーム間差分法で閾値以上の差分があったシーンを指定のファイルに保存していきます。
画像の保存まで問題なくできるのですが動画を最後まで読み込む（？）とpythonの応答がなくなってしまい、毎回pythonを強制終了しなければならないです。
どうすればよいでしょうか。

発生している問題・エラーメッセージ

error: OpenCV(4.0.1) C:\ci\opencv-suite_1573470242804\work\modules\imgproc\src\resize.cpp:3784: error: (-215:Assertion failed) !ssize.empty() in function 'cv::resize'

該当のソースコード

import cv2
# 保存パスの指定
save_path = "保存パス"
def main():
    # 映像の取得".
    cap = cv2.VideoCapture("映像のパス")
    # フレームの初期化 --- (*1)
    img1 = img2 = img3 = get_image(cap)
    # 閾値の設定
    th = 70
    num = 1
    while True:
        ret, frame = cap.read()
        if not ret:
            break
        # Enterキーが押されたら終了
        if cv2.waitKey(1) == 13: break
        # 差分を調べる --- (*2)
        diff = check_image(img1, img2, img3)
        # 差分がthの値以上なら動きがあったと判定 --- (*3)
        cnt = cv2.countNonZero(diff)
        if cnt > th:
            print("動体を検出")
            cv2.imshow('PUSH ENTER KEY', img3)
            # 閾値以上の写真を画像として保存 --- (*4)
            cv2.imwrite(save_path + str(num) + ".jpg", img3)
            num += 1
        else:
            cv2.imshow('PUSH ENTER KEY', diff)
        # 比較用の画像を保存 --- (*5)
        img1, img2, img3 = (img2, img3, get_image(cap))
    # 後始末
    cap.release()
    cv2.destroyAllWindows() 

# 画像に動きがあったか調べる関数
def check_image(img1, img2, img3):
    # グレイスケール画像に変換 --- (*6)
    gray1 = cv2.cvtColor(img1, cv2.COLOR_RGB2GRAY)
    gray2 = cv2.cvtColor(img2, cv2.COLOR_RGB2GRAY)
    gray3 = cv2.cvtColor(img3, cv2.COLOR_RGB2GRAY)
    # 絶対差分を調べる --- (*7)
    diff1 = cv2.absdiff(gray1, gray2)
    diff2 = cv2.absdiff(gray2, gray3)
    # 論理積を調べる --- (*8)
    diff_and = cv2.bitwise_and(diff1, diff2)
    # 白黒二値化 --- (*9)
    _, diff_wb = cv2.threshold(diff_and, 30, 255, cv2.THRESH_BINARY)
    # ノイズの除去 --- (*10)
    diff = cv2.medianBlur(diff_wb, 5)
    return diff

# 映像から画像を取得する
def get_image(cap):
    img = cap.read()[1]
    img = cv2.resize(img, (600, 400))
    return img
main()

Comments

[退会済みユーザー]

動画の長さはどれくらいでしょうか？少なくとも短い動画（～10秒）であればうまく動きました。
処理が重すぎる可能性がありますので、
if cv2.waitKey(1) == 13: break # 1[ms]待つ
を
if cv2.waitKey(1) == 13: break # 20[ms]待つ
にして様子を見ていただけますか？

[suzukill]

返信が遅れて大変申し訳ございません。そしてご回答ありがとうございます。
基本的に10分の動画に行っていましたが、10秒ほどの動画でも最後に固まってしまいます。

if cv2.waitKey(20) == 13: break
に変更してみましたが、 うまくいかないです。

Answer 1

要は，ココ↓でエラーになっているという話ですよね．

img = cv2.resize(img, (600, 400))

既に動画の末尾に達していた（もうread()で読めるフレームが無かった）場合，１行上の

img = cap.read()[1]

の結果として img が空っぽになるからですよね．

何やらmainのwhileループの先頭でも cap.read() を行ってますので，このループの一周で２回のフレーム読み出しが起こるように見えます．
で，そのうちの１回目の側にしかチェックが入っていない様子．

纏めると，「末尾に達したら終了」という処理の組み方自体が間違っているのだと思います．

Comments

[suzukill]

回答ありがとうございます。
映像から画像を取得する部分に「末尾に達したら終了」のコードを追加すればいいということでしょうか。

[fana]

ループ内で cap.read() を２回実施するのは，行いたい処理の意図と異なるだろうと思うので，そこから解消すべきではないでしょうか．

例えば，

・get_imageを，cap.read()の結果をちゃんと見て末尾判定を行うようにする．例えば，末尾に達していたら空のimgをそのまま返す

ということにすれば，

・既存のwhile内先頭で行っている cap.read() を廃止し，
・その場所に img1, img2, img3 = (img2, img3, get_image(cap)) の処理を移して，img3を見て末尾判定する

とか．