YOLOv4のIOU, probabilityの計算方法

Question

darknet版YOLOv4を用いてオリジナルのデータで重みの転移学習を行い，テストデータセットで推論を行いました．
推論の結果から，重みの精度評価を行おうとTP FP FN TNを求めようとしたのですが，それにはIOUと検出の確かさ（probability あるいはconfidensce）が必要です．
ただ，自分はGItをクローンして自分の環境に合わせて動かしただけですので，IOUやprobabilityの計算がどのように行われているかが検討もつきません．
いちおうコードの処理を追ってみてはいるものの，IOUやprobabilityの計算が行われている部分がみつからず途方にくれています．
ご存知のかたがいらっしゃいましたらお助けいただけませんでしょうか？よろしくお願いいたします．

Answer 1

返信遅れてしまい申し訳ありません．ご回答ありがとうございます。
そんな便利なコマンドがあるとは知りませんでした．
iou_threshコマンドは学習時にオプションとしてつける感じになるのでしょうか？
conf_threshは指定しなかった場合のデフォルト値は0.25のようです．Githubに記載がありました．
ただ，IOUのデフォルト値は載っていなかったので，つけなかった場合のデフォルト値などご存知でしょうか？
よろしければお教えください．

Answer 2

yolov4についてしばらく触れてないので、以下誤りあるかもしれません。ご容赦ください。

yolov4では、detector mapコマンドがあります。
mapについて詳しくは割愛しますが、このコマンドを実行すると各クラス毎のTP, FPが出力されます。
FNについては、クラス毎の総正解データ数 - クラス毎のTPを計算すると求められると思います（クラス毎の総正解データ数=クラス毎のTP + FNより）。クラス毎の総正解データ数は出力されなかった気がしますので、別途数える必要があります。

TN以外の３つについては、上記にて算出可能かと思います。ただ、コマンドのオプションとして、iou_threshとconf_thresh（conf_threshについては、ただのthreshと入力したかもしれません。）を引数に取れたと思います。

iou_threshはiouの閾値です。例えばiou_thresh = 0.5 とすると、iouが0.5未満の予測boxについてはFalse（つまり予測を不正解とする=FP）、以上であればTrue（つまり予測を正解とする=TP）となります。つまり、iou_threshによってTP, FPの数が変わるので、注意が必要です。
conf_threshはconfidenceの閾値です。例えば、conf_thresh = 0.8 とすると、confidenceが0.8以上のみを予測し、それ未満はそもそも予測しなくなります（ちなみにconf_thresh=0にするとものすごい数の予測boxが出てきます）。この値はすなわち、各クラス毎の総予測データ数に影響を及ぼすので、結果的にTP、 FPの数が変わってきます。こちらも注意する必要があります。

余談ですが、物体検出の精度評価として多く用いられているのがmapです。もしmapもしくはクラス毎のap、さらにprecisionやrecall値、F1値を求めたいのであれば detector mapコマンドで一発ですので、試す価値有りかと思います。

Comments

[roritamago]

返信遅れてしまい申し訳ありません．ご回答ありがとうございます。
そんな便利なコマンドがあるとは知りませんでした．
iou_threshコマンドは学習時にオプションとしてつける感じになるのでしょうか？
conf_threshは指定しなかった場合のデフォルト値は0.25のようです．Githubに記載がありました．
ただ，IOUのデフォルト値は載っていなかったので，つけなかった場合のデフォルト値などご存知でしょうか？
よろしければお教えください．

[ritzraidon]

こちらもうろ覚えで大変恐縮ですが、iou_threshをしていなかった場合、デフォルト値0.5だったと記憶しています。
iou_threshの使用タイミングとしては、学習が終了した後、該当するweightファイルを用いてそれを検証したい時に、mapコマンドのオプションとして指定してあげます。