opencv object_detection.cppにてyoloでカメラでの検出不具合

前提・実現したいこと

c++にてopencvで物体検出サンプルを動かしていますが、yoloでの静止画は問題ないのですが、カメラ映像での検出の不具合が起こっています。

発生している問題・エラーメッセージ

https://ws.tetsuakibaba.jp/doku.php?id=opencv_dnn:samples:object_detection
こちらのサイトを参考にプログラムを作成しました。
ビルドしたあと、以下をコマンドプロンプトで実行しました。
object_detection.exe -c=yolov3.cfg -m=yolov3.weights --height=416 --width=416 --scale=0.00392

実行結果は以下のようにうまく検出できていませんでした。
そもそもバウンディングボックスの左上の数字はそのクラスの信頼度で0~1.0までの値を取るはずなのですがおかしな値がでてしまっています。

該当のソースコード

https://docs.opencv.org/3.4.15/d4/db9/samples_2dnn_2object_detection_8cpp-example.html
ソースコードはこちらのものをそのまま使用しました。

試したこと

PCに原因があるのかと考え別のPCでも試してみましたが、同様にYOLOのカメラ映像の検出がうまくいきませんでした。

補足情報（FW/ツールのバージョンなど）

windows 10 64bit
opencv 3.4.15
visual studio 2019

jbpb0

2021/08/23 08:40

動画のファイルでもダメでしょうか？

Soogle44

2021/08/23 09:19

ありがとうございます。動画の場合も同様に異常に検出されるフレームがありました。ただカメラ映像に比べるとそのようなフレームは随分減るので処理が重くなると発生しているのかなといった印象です。

Soogle44

2021/08/23 09:28

処理の重さの影響かと思い、yolov2-tinyで検出してみましたが同様に異常な検出がありました。。。

jbpb0

2021/08/26 05:25

フレームを読み飛ばしたら、どうでしょうか？ https://qiita.com/john-rocky/items/8fa2a319c2d57bdf89ed

Soogle44

2021/08/27 02:18

ありがとうございます。そちらのサイトを参考にフレームを飛ばしてみましたが、特に変化は見られませんでした。

jbpb0

2021/08/28 11:16

たとえば、カメラ入力や動画を10秒間に1回だけ処理して、それ以外のフレームは読み飛ばすようにしたら、静止画を1枚処理するのと同じ負荷の計算を1回やったら、それ以降は10秒間はほぼ何もしないわけですよねつまり、10秒間隔で静止画を1枚ずつ処理するのと、負荷はさほど変わらないはずですよねもしそのようにしてもダメなら、処理が重たいからダメ、というのとは違う原因なのでは？

jbpb0

2021/08/28 11:23

> opencv 3.4.15 OpenCV 4.*だと、何か支障があるのでしょうか？質問の内容とは関係無いかもしれませんが

jbpb0

2021/09/01 05:44

当方のWin 10 64bit PCで、Visual Studio 2017+OpenCV 4.5.2でコンパイルして実行してみましたカメラ入力では同じ現象になりました動画ファイル(25秒、29.97 フレーム/秒)の場合は、画面に表示された画像では大丈夫でしたが、左上の表示がたとえば Camera: 157.41 FPS Network: 2.03 FPS Skipped frames: 755 のようになっていて、動画中のほとんどのフレームがスキップされているようで、実際画面表示されてる画像もかなり間が飛んでました

Soogle44

2021/09/01 05:50

返信が遅れて大変申し訳ございません。 opencvのバージョンについては3系で以前作成した関数を流用したいと思い、とりあえず3系の新しいものを使用しているだけですので4系に変更して試してみたいと思います。私の別の質問でも同様に異常に検出されてしまう問題が起こっていて、そちらはssd検出後にyolo検出で起こってしまうのでおっしゃる通り処理が重い以外の理由もありそうです。

jbpb0

2021/09/01 22:52 編集

https://github.com/opencv/opencv/blob/master/samples/dnn/object_detection.cpp の187行目の break; の次に _sleep(1000); を追加したら、左上の「Camera:」がだいたい1FPSくらいになりましたそうしたら当方のPCでは、カメラ入力での結果が正常(クラス信頼度が1.0以下)になり、動画ファイルでのスキップも無くなりました

jbpb0

2021/09/01 10:42

ちなみに、 https://github.com/amikelive/coco-labels から「coco-labels-2014_2017.txt」を落として、コマンド実行時のオプションに「--classes=coco-labels-2014_2017.txt」を追加したら、何を検出したのかが分かりますよ

行動規範の内容に同意します

回答1件

c++
1    // Frames capturing thread
2    QueueFPS<Mat> framesQueue;
3    std::thread framesThread([&](){
4        Mat frame;
5        while (process)
6        {
7            cap >> frame;
8            if (!frame.empty())
9                framesQueue.push(frame.clone());
10            else
11                break;
12        }
13    });

↓ 「_sleep()」追加

c++
1    // Frames capturing thread
2    QueueFPS<Mat> framesQueue;
3    std::thread framesThread([&](){
4        Mat frame;
5        while (process)
6        {
7            cap >> frame;
8            if (!frame.empty())
9                framesQueue.push(frame.clone());
10            else
11                break;
12            _sleep(1000);
13        }
14    });