ディープラーニングでの閾値の設定方法（閾値とIoU閾値）

Question

ディープラーニングで物体検出を行う際、検出の時(threshold)、評価の時(IOU threshold)、それぞれ閾値を設定すると思うのですが、この両者の言う「閾値」の意味の違いはなんでしょうか？

Answer 1

検出の時(threshold)、評価の時(IOU threshold)、それぞれ閾値を設定すると思うのですが、この両者の言う「閾値」の意味の違いはなんでしょうか？

IOU threshold は、同一物体に対して重複して検出された矩形を1つにする後処理 Non Maximum Suppression (NMS) を行う際のしきい値です。

OpenCV - Non Maximum Suppression について - Pynote

threshold は、スコアに基づき、検出結果を足切りする閾値です。
スコアが低い検出結果は信頼できないので、足切りを行います。

検出の時、評価の時と書かれていますが、この2つの閾値は検出、評価両方で使います。
つまり、物体検出では2つの閾値があるということです。

Comments

[ameria_]

tiitoiさん、わかりやすいご回答ありがとございます！！　詳しい情報を得られるURLもありがとうございます。

ええと、一つの物体に対して複数の短形（BBox?)が出てきてしまわないよう処理するための閾値がIoU threshold、ここで出したスコアのなかで低い値だったものを足切りするのがthershold、ということでしょうか。
検出前に設定したthresholdで検出を行い、ここで得た検出データに対して評価する際、新たにIoU thresholdを設定するから、物体検出には閾値が２つということになる、、、ですか？

[tiitoi]

1. IOU threshold で一つの物体に対して複数の短形が出てきてしまうのを除く
↓
2. threshold でスコアが低い矩形を除く

の2段構成になっているということです。
もしかしたら、評価といっているのが mAP の計算のことをいっているのであれば、threshold > 0.05 のものはすべて検出結果として出して、閾値を変化させたときの PR曲線を計算するのが一般的です。

[tiitoi]

YOLOv3 の場合、
1. threshold でスコアが低い矩形を除く
2. IOU threshold で一つの物体に対して複数の短形が出てきてしまうのを除く
となっています。こういう細かい話は論文だと省略されていたり書かれていないことが多いので、実際の実装例を見て確認するのがよいです。
https://github.com/DeNA/PyTorch_YOLOv3/blob/1a3cd6e465db0b67ab783d92076c6ebfae9359a2/utils/utils.py#L56

mAP 計算の実装例
https://github.com/rafaelpadilla/Object-Detection-Metrics

[ameria_]

なるほど。。。
評価はF値を使っています。デフォルトのthresholdは0.5になっています。(それ以外のprecisionもrecallも 0≤ｘ≤１で算出されます) Average precisionやaverage recallを算出したことはありますが、PR曲線はやり方がよくわからず。。。

＞threshold > 0.05 のものはすべて検出結果として出して、閾値を変化させたときの PR曲線を計算するのが一般的です。

もしも閾値を0.5にしている場合でもthreshold>0.5 でPR曲線作る、という一般論に当てはまるのでしょうか？

[ameria_]

あ。新たなコメントもいただいていましたね！気づかず、、
読んでみます！

[tiitoi]

物体検出の評価の方法はいろいろありますよ。
物体検出の論文だとたいてい、Pascal VOC の評価方法または MSCOCO の評価方法で評価した数値が載っていると思いますが、それ以外のやり方でもようはモデルの性能を評価できればなんでもよいです。

[ameria_]

評価方法は　Pascal VOCなのだと思います。論文ではなかなか詳しく載っていないし、書籍ではそこまで詳しうのっていないので。。。

デフォルトの閾値よりちょっと低めのところで良いF値がでたので、それを理論的に示す方法を探すためにいろいろ評価方法を模索していました。。