OpenCV-pythonでの顔認識が長時間行えません

Question

実現したいこと

・クラッシュすることなく継続的に顔認識が行える状態

前提

USBカメラからの映像を取り込み、OpenCV-python(CPU処理)を用いて、だれが入室してきたのかを顔認識で判別するシステムを作ろうとしているのですが、テスト時に以下の問題が発生して解決できずにいます。

発生している問題・エラーメッセージ

顔写真を用いて認識のテストを行っていると、数十秒ほどで以下のエラーを吐いてプログラムがクラッシュします

[ WARN:0@53.455] global cap_msmf.cpp:1759 CvCapture_MSMF::grabFrame videoio(MSMF): can't grab frame. Error: -2147483638

(WARN:0@の後ろにある数字は時間(秒)で一定ではなく、変わります)

該当のソースコード

https://office54.net/python/opencv/movie-face-authentication
のソースコードほぼそのままとなり、殆どカスタマイズは行っていません

import cv2
cascade = cv2.CascadeClassifier("c:/Users/Streamer/Downloads/haarcascade_frontalface_default.xml")
cap = cv2.VideoCapture(1)
if not cap.isOpened():
    print("カメラが正常ではありません")
    exit()
# カメラから連続的にキャプチャ画像を取得
while True:
    # Bool値とキャプチャ画像を変数に格納
    ret, frame = cap.read()
    # キャプチャ画像が正しく読み込めたかの確認
    if not ret:
        print("画像を正しく読み込めませんでした")
        break
    # 画像データをグレースケール化（白黒）
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    # 顔を検出する
    lists = cascade.detectMultiScale(frame_gray, minSize=(50, 50))
    # forですべての顔を赤い長方形で囲む
    for (x,y,w,h) in lists:
        cv2.rectangle(frame, (x,y), (x+w, y+h), (0, 0, 255), thickness=2)
    # 顔認識を行っている画像を表示
    cv2.imshow('video image', frame)
    # qが押されたらwhileから抜ける
    if cv2.waitKey(1) == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

試したこと

もともと複数の顔を認識させてテストしていたのを一つの顔のみに絞る
→クラッシュまでの時間は伸びたが結局クラッシュ

補足情報（FW/ツールのバージョンなど）

Python 3.11.4 / OpenCV-Python 4.8.0.74

端末スペック:
OS:Windows 10 Pro x64 21H2(Build 19044.3086)
CPU: Intel Core i5-9400
GPU: NVIDIA Quadro P620
RAM: 8GB

同時に別のカメラの映像をOBSで配信します。
映像ビットレートは2500kbps、エンコーダはNVENC H.264のハードウェアエンコードで、プリセットがP7(Slowest)です

画像処理中のCPU使用率が50-60%、アイドル(配信のみ)時で18%ほどです

Comments

[jbpb0]

> [ WARN:0@53.455] global cap_msmf.cpp:1759 CvCapture_MSMF::grabFrame videoio(MSMF): can't grab frame. Error: -2147483638

https://qiita.com/grinpeaceman/items/10bb46de3adfeb915ed0
のコード中のコメントに、それに対策したらしきことが書かれてます
(質問者さんの環境に合致するかどうか分かりませんが)

上記webページのコードのように「cv2.VideoCapture」に「cv2.CAP_DSHOW」を付けてもダメでしょうか？

Answer 1

以下、私のUSBカメラに対する意見です。

USBのカメラの信頼性は低いです。

• パソコンの負荷が高くても、
• 機器の接続数が多くても（通信すらしていなくても）、
• 給電が不安定でも、
• カメラの解像度が高ければ高いほど、

クラッシュしたりノイズが乗りやすくなります。反対に、解像度の低いカメラは安定性が高いです。

一度起きたエラーを解消するには、大概OS再起動するかUSBを抜き差しするくらいしかありません。バッファをいじったり解像度をフルHDくらいに絞ったりスレッドを分けたりでいくらかマシにはできますが、どうしても安定性には限界があります。

対策としては、USB接続を止める、が良いです。mipi接続のボートPCからLAN経由でデータを飛ばしても良いでしょうし、産業用IPカメラを使うのも良いと思います。

USB接続のカメラはプログラムのデバグ用だとか、開発段階のおもちゃくらいの用途とした方が良いと思います。