OpenCVを用いた物体検出

Question

現在OpenCV2.1を用いた上で顔検出にチャレンジしています。
学習等については問題なく行うことができ、顔の検出を行おうと思っているのですが、検出の段階で設定するパラメータの"minNeighbors"と"scaleFactor"の各値について疑問がわきました．

・minNeighborsについて
物体候補領域が何個以上重なっていたらそれを一つの物体として検出するといったイメージだと思ったのですが、実際にどの程度候補領域が重なっていたら重なりと定義されているのかという点が分かりません。またその重なりの程度のパラメータ等もございましたらそのパラメータ設定の場所も含めお教えいただければと思います。

・scaleFactorについて
色々とインターネットを見たのですが，「各画像スケールにおける縮小量」とだけ書かれておりよく意味が理解できませんでしたので、その意味について教えて頂きたいです。

以上となります。どなたかご存知の方、ご教授頂ければとおもいます。宜しくお願い致します。

Accepted Answer

まず、それぞれの言葉の意味について回答します。 - **minNeighborsについて** 『物体候補領域が何個以上重なっていたらそれを一つの物体として検出する』というイメージで大体あっていると思います。その重なり具合を指定するパラメータは存在します。詳しくは後述します。 - **scaleFactorについて** OpenCVのカスケード分類器は、Sliding Windowという技法を使って候補となる矩形を検出しています。[この動画](https://www.youtube.com/watch?v=hPCTwxF0qf4)は、われらがマドンナ・[レナ姐さん](https://en.wikipedia.org/wiki/Lenna)の画像にSliding Windowを適用しているものです。文字通り、窓を滑らせて片端から候補を見つけ出しているんですが、一巡毎にこの窓枠は縮小します。この縮小率がscaleFactorです。(たまにscaleFactorを1.0にして困っている人を見ます。) --- 次に、「どの程度候補領域が重なっていたら重なりと定義されているか」という点について考えていきたいと思います。私もちょっと気になったもので、今回調べてみました。 1. [detectMultiScale](http://docs.opencv.org/2.4/modules/objdetect/doc/cascade_classification.html?#cascadeclassifier-detectmultiscale)([コード](https://github.com/opencv/opencv/blob/324851882ab95e02bb17ea3e67b80f6af677c9f8/modules/objdetect/src/cascadedetect.cpp#L1404))が、Sliding Windowとカスケード分類で候補となる矩形のvectorを作る。 2. 上記によって得られたvectorが、[groupRectangle](http://opencv.jp/opencv-2.2/cpp/objdetect_cascade_classification.html#cv-grouprectangles)([コード](https://github.com/opencv/opencv/blob/324851882ab95e02bb17ea3e67b80f6af677c9f8/modules/objdetect/src/cascadedetect.cpp#L376))に`rectList`として渡される。また、`minNeighbors`は、同時に`groupThreshold`として渡される。 3. groupRectangleは、内部で[partition](http://opencv.jp/opencv-2svn/cpp/clustering_and_search_in_multi-dimensional_spaces.html#cv-partition)([コード](https://github.com/opencv/opencv/blob/c7049ca627f47fece7adb2c132ba118209d517e6/modules/core/include/opencv2/core/operations.hpp#L440))を呼び出す。partitionはクラスタリングを行うOpenCVの汎用関数で、第一引数にクラスタリング対象となるvectorを渡すと、第二引数にクラス番号のvectorを代入してくれる。もちろん、第一引数には`rectList`が渡される。ここで、partitionがむにゃむにゃとクラスタリングを行って、その結果を返すことがわかりましたね。その結果をもとに、`groupThreshold`こと`minNeighbors`を用いて、**『充分な回数検出されている領域か？』**という判別が出来ます。 --- さて、次の問題は、partitionがどうクラスタリングを行っているかどうかですね。[コード](https://github.com/opencv/opencv/blob/c7049ca627f47fece7adb2c132ba118209d517e6/modules/core/include/opencv2/core/operations.hpp#L440)を見てみると、どうやら矩形の全通りを比較しているようです。比較して、**『どうやら同じクラスらしい』**と判別するための基準は、partitionの第三引数として与えられるようです。 partitionは、groupRectangle内から、次のように呼び出されます。 > ```C++ > partition(rectList, labels, SimilarRects(eps)); > ``` と、いうわけで、SimilarRects([コード](https://github.com/opencv/opencv/blob/072f873df6c315717c8c3cb903956127a571cad6/modules/objdetect/include/opencv2/objdetect.hpp#L121))に矩形の同一性の判断が任されていることがわかります。それでは、SimilarRectsのコードを見てみましょう。 > ```C++ > class CV_EXPORTS SimilarRects > { > public: > SimilarRects(double _eps) : eps(_eps) {} > inline bool operator()(const Rect& r1, const Rect& r2) const > { > double delta = eps * ((std::min)(r1.width, r2.width) + (std::min)(r1.height,　r2.height)) * 0.5; > return std::abs(r1.x - r2.x) <= delta && > std::abs(r1.y - r2.y) <= delta && > std::abs(r1.x + r1.width - r2.x - r2.width) <= delta && > std::abs(r1.y + r1.height - r2.y - r2.height) <= delta; > } > double eps; > }; > ``` まさに`operator()`の部分が、二つの矩形を引数にとって、それらの同一性を判断しているんですね。たった二文しかないですし、さっそくコードを読み解いてみましょう。 **一文目:** `eps`の値を基準に、判断指標`delta`を決定しています。 **二文目:** 全ての辺の距離が`delta`より小さいとき、同一としてtrueを返します。 --- さて、最後の話題です。 > またその重なりの程度のパラメータ等もございましたらそのパラメータ設定の場所も含めお教えいただければと思います。 partition内で判断基準として用いられた`delta`は、第三引数`eps`に比例して決定されました。また、この値は、もともとgroupRactangleの第三引数`eps`として与えられたもので、次のように、デフォルト値は0.2となっています。 > ```C++ > void groupRectangles(vector& rectList, int groupThreshold, double eps=0.2); > ``` ですので、groupRectanglesを自ら呼び出すようなコードを書けば、パラメータ`eps`を指定できることになります。次のようにして、実際に実行することが出来ました。(ただし、再現環境はOpenCV3) ```C++ cascade.detectMultiScale(smallImg, faces, 1.1, // scaleFactor 0, // minNeighbors(仮) CV_HAAR_SCALE_IMAGE, cv::Size(30, 30)); // 以下の値は自由 int groupThreshold = 3; double eps = 0.5; cv::groupRectangles(faces, gourpThreshold, eps); ``` ```Python facerect = cascade.detectMultiScale(image_gray, scaleFactor=1.04, minNeighbors=0, minSize=(80, 80), maxSize=(200, 200)) facerect, _ = cv2.groupRectangles(np.array(facerect).tolist(), groupThreshold=3, eps=0.5) ``` [こちら](https://stackoverflow.com/questions/21689804/grouprectangles-opencv-not-working)を参考にしました。事前に`import numpy as np`するのを忘れずに。 --- [Githubのコード](https://github.com/opencv/opencv/tree/2.4)を舐め回して、ようやくここまでわかりました... 私自身もいい勉強になりました。