PythonのOpenCVで、画像の処理が間に合わない

Question

閲覧ありがとうございます。
PythonとOpenCVでWebカメラから取得した映像に輪郭のトラッキング等の処理をしているのですが、PCの処理が間に合っていないのか映像の下半分がグレーで表示されます。
処理を行わず、只単に表示されるだけなら正常に表示されるのですが、こういう場合どの様な処理を追加すると良いのでしょうか？

追記
早速の返答ありがとうございます。
240pのような低解像度にしてもグレーの部分が出ますが、やはり走査させる量を減らす方が良いようですね。

後出しで申し訳ないのすが、プログラム実行時にグレー部分が出ると以下のエラー文が流れ続けるのですが、これは処理が間に合っていない事をいっているのでしょうか？
Corrupt JPEG data: premature end of data segment

Answer 1

何秒分かの画像（フレーム）を記録しておいて、各フレームで輪郭トラッキング等の処理にかかる時間を測定してみてください。

また、時間待ちだけをするルーチン（引数で待ち時間を設定できるもの）を輪郭トラッキング処理の代わりに呼び出すようにして、待ち時間を変えながら処理が間に合わなくなるところを見つけてください。

こうすると、輪郭トラッキングの処理を何ミリ秒以内に完了しないといけないかが判りますから、今の輪郭トラッキングのコードを見直してください。（輪郭トラッキングにかかる時間が一番長かったフレームのデータを使って、それが制限時間に間に合うようにしてください）
具体的な方策は、kanimariさんが回答されている
２．解像度を下げて走査する量を減らす
３．走査間隔をインタレース的に1フレームごとに走査間隔を変える

Answer 2

単に処理を軽くするだけの場合、PCにより、開発機よりも処理能力が低いPCの場合には、同様の現象が発生することになります。

このような場合、よく行うのは、画像処理を別スレッドで行い、映像表示とは分けます。

画像処理自体はとあるフレームに対して行う処理ですが、その結果を反映するのは、その後のフレームに対して適用することになります。処理終了後には、現在取得できているフレームに対して処理を行います。
これにより、映像表示自体はスムーズになり、画像処理（例えばオブジェクトトラッキング）は遅延が発生することになります。
この遅延も避けたいということであれば、既存の回答者様が提示されているようなフレーム間引き、解像度縮小などで処理を軽くして調整する必要があります。

Corrupt JPEG data: premature end of data segment

ググれば出てきますが、jpegデコード時に、与えるデータが足りない場合のエラーです。
処理が重いなら重いなりに、間に合わないなりの処理をしておく必要がありますが、それらの処理自体問題がある部分がありそうです。

Comments

[Yukiyama7.4]

回答ありがとうございます。
処理を減らす方向で改良していこうと思います。

Answer 3

処理を減らすというなら以下
１．1秒当たりのフレーム数（FPS）を減らして処理時間を増やす
２．解像度を下げて走査する量を減らす
３．操作感覚をインタレース的に1フレームごとに走査感覚を変える

ちなみに、処理してる画像の解像度通りに走査しておられますでしょうか。