ラズパイで動かすプログラムを高速化したい(cv2.blur、cv2.inRange、cv2.cvtColorがボトルネックでした)

Question

前提・実現したいこと

Raspberry Pi Zero WHを使って、カメラから取得した映像のリアルタイム画像処理を行いたいです。
一フレーム当たりの処理時間は0.3s程度を目標としていますが、現在は0.8s程度です。
コード内のボトルネックを探したところ、
・cv2.blur
・cv2.inRange
・cv2.cvtColor
の順に時間がかかっていることが分かりました。
openCVより早いコードを書く自信がないのですが、高速化させる方法はありませんでしょうか。

そもそもラズパイに取り付けたカメラで画像を取得する際にRGB系でなく、HSV系で画像の取得ができればいいと思うのですが、方法が分かりません...

Answer 1

何をやっているのか（どの処理にどの程度の精度なりが要求されるのか）が不明なので何とも言えませんが…

• 「高速化」というとき，真っ先に，画像サイズを縮小した世界で処理できないか？を考えます．

（もちろん，ボトルネックになっているという部分の処理結果に解像度的な面での精度が要求されるならば，これはきません）
（縮小する際の方法次第では，縮小自体が blur 的効果も含むと見ることもできる．）

• inRangeとcvtColorとHSVという言葉からの想像だが，例えば，

「cvtColorでHSVにする→inRangeで{H,S,V}の全てがある範囲に入っている画素を見つける」ような処理を行っている場合，
「Hだけを計算 → Hが範囲に入っている画素についてのみSやVを計算＆判定」のように処理を組み変えることで全体の計算量は減るかもしれない
（そのようなことを自前でやった場合にCVの実装よりも早くなるかどうかまではわからないが…）

• （これは可能性が低そうな話だが）

ボトルネックとして挙げられている処理以外の前段や後段にも何らかの画像処理がある場合，それらとの間で共通化できる（要は，纏められる）事柄が無いか？
例えば，blurはintegral imageがあれば自前でやれる→もしも他所でintegral imageの計算がある（あるいは，今は無くてもそれを追加すれば良さそうな処理がある）ならば，高速化になるかもしれない．

Answer 2

カーネルサイズが分からないのでなんともですが、cv2.blurを単に画像の平滑化目的で使っているのであれば

https://dsp.stackexchange.com/questions/50576/fastest-available-algorithm-to-blur-an-image-low-pass-filter

メディアンフィルタなどに切り替えた方が早いという記事がありました。
如何でしょうか。

Comments

[ysk_snn]

素早い助言ありがとうございます！！
実際にデスクトップPCでcv2.blurと、cv2.medianBlurの速度を比較してみたところ、cv2.medianBlurのほうがやっぱり速かったです。計算量も少ない気がしますし、納得しました。
しかし、どうしたわけかプログラムのcv2.blurをcv2.medianBlurに書き換えて、ラズパイで動かしてみたところ、かなり遅くなってしまいました...
cv2.GaussianBlurも試してみたところ、cv2.blur < cv2.GaussianBlur << cv2.medianBlurの順で時間がかかってしまいました...

[yasutakatou]

GPUの差か、IntelとArmのアーキテクチャの差あたりで影響出てるかもしれないです。
すみませんが、ご紹介したリンクおそらくPCのものと思えてきましたので・・
Armの検証結果が分からないのもあって今のところぱっと思いつく手が無いですね。。すいません。