pythonでwebカメラから映像を取得しながら並列でopticalflowの計算を行いたいのですがどのような設計にすれば良いのかわかりません。

Question

pythonプログラムで、webカメラで映像を撮りながらopencvのdense opticalflowを計算するという処理をカメラのfpsを15に保ったまま行いたいのですが、カメラから画像を2つ取得、その後opticalflowを計算、という逐次処理だとfpsがカメラのfpsが15より低くなってしまいます。
そこで、webカメラから映像を取得する計算とopencvのdense opticalflowの計算を並列で行いたいと考えています。
このような場合がどのような設計にすれば良いのでしょうか？
教えてくださると助かります。

Answer 1

逐次処理の場合に、どの処理にどれだけの時間がかかっているか測定するところから始めると良いと思います。

その上で処理のパイプライン化で目標のfpsを達成できそうでしたら中心にキューを据えてワーカーで並列化となりますし、もしもパイプライン化でどうにもならなさそうだったら処理自体をどうにか高速化するかコンピューティングリソースを追加投入しなければなりません。

並列化にもオーバーヘッドという問題があるので、適切に問題を解決するためにもまず現状の把握を提案しました。

Answer 2

並列に処理することにあまり意味は無いと思われます。
映像を取得する処理時間に対し、オプティカルフローの計算の処理時間が大きすぎることが理由です。

まずは、オプティカルフローの計算部分を、CUDA版OpenCVを用いてGPUで計算させて高速化し、どれだけ速度を稼げるか確認するあたりからでしょうか。

Comments

[abea]

USE CUDAがONになっているopencvを使って計算すると大体処理時間は画像30枚につき2秒程度かかりました。
この場合どうなのでしょうか

[kazto]

ビデオカードはどれくらいのものをお使いでしょうか。

[abea]

GTX 1080です

[kazto]

おお、いいやつ。うらやましい。
だとすると、実際にCUDAに処理が渡っているかどうかを疑うべきでしょうかねぇ。
CUDAオフ版のOpenCVと速度を比較してみて、段違いに違うかどうか、で判定できます。
ちゃんとCUDAが動いた上で2秒ですと、ちょっと高速化の余地が無いかもしれません。