Yolo推論時に出力されるスコアについて

Question

現在、Yolov3を実装中ですが、中身がブラックボックスではいけないと思い、勉強しております。そこで1点疑問が、、

yoloの出力として出てくるスコアは下記の大きい順に出てくるという理解です。
BB confidence（矩形の信頼度） × Class probability（クラス分類の結果）

ここで、BB confidence（矩形の信頼度）について、
学習時はアノテーションされた矩形と、実際に学習中のネットワークより導き出した矩形の間でのIOUになるという理解なのですが、推論時はアノテーションされた矩形が存在しないのでIOUが計算できず、BB confidenceを計算できないのではないかと、、
推論時はどのように算出しているのでしょうか？

Answer 1

yoloの出力として出てくるスコアとは、デモ等のスクリプトを動かした際の「car:99%」の数字のことを言ってるのでしょうか？

だとすると、「BB confidence（矩形の信頼度） × Class probability（クラス分類の結果） 」の理解が間違ってます。

「Objectness（候補領域の信頼度） × Class probability（クラス分類の結果） 」が表示されます。

Comments

[ytbbsq]

ご回答ありがとうございます。

勉強不足ですみません、、
仰るとおり、car99%の99%のことです。下記3点、ご教授いただきたいです。
①objectnessとは、バウンディングボックス毎にあるパラメータ（x,y,w,h,confidence）の、confidenceとは別物でしょうか？こいつのことだと思い込んでいました、、
②①のconfidenceは学習時に学習結果の矩形とアノテーションした矩形のIOUをとったものですが推論時はどう扱われますか？
③objectnessはどのように計算されますか？

よろしくお願いしますm(__)m

[s-uchi]

①　バウンディングボックス毎にあるパラメータ（x,y,w,h,confidence）は正確には、（x,y,w,h, objectness-confidence, class1-conf, class2-conf,..., class80-conf）と4+1+80のベクトルになります。
https://qiita.com/cyberailab/items/850806c08af08853bac8
② 矩形に関する正確さは推論時は計算してないです。
③ car, airplane, などいずれのクラスでも「何かものがある=objectness」なら'1'、なければ'0'として教師ラベルがつけられます。

[ytbbsq]

ありがとうございます！
下記理解で間違いないでしょうか？

①バウンディングボックス毎にあるobjectness-confidence＝
objectness（0 or 1:離散値）
※離散値にする仕組みはモデルのどこに実装されていますか、、、？、
②IOU（学習結果の矩形とアノテーション矩形）は学習の際、ground truthの中心が存在するgridの3つのprior boxのうち、どれを調整するかの選択に使用。よってモデルとは直接関係ないので推論時には未計算。
③出力として出てくるスコア＝
　objectness（0 or 1）× class probability （全クラスのうち最も大きいもの）

[s-uchi]

離散値って理解が間違っている気がします。②はあってます。
https://www.slideshare.net/ssuser07aa33/introduction-to-yolo-detection-model
がすごく分かりやすく解説して下さってます
①と※に関して、２５ページ目の説明で、学習時は0or1の離散的なラベルがふられますが、推論時はobjectnessかどうかの予測をしてますので、0.0-1.0の連続値になります。
③も同様、objectness（0.0-1.0の連続値）× class probability （全クラスの「0.0-1.0の連続値」うち最も大きいもの）

いずれにしても、私の場合、YOLOv1の論文にある犬と自転車の図(＊１)を自分で出力するよう実装してみてやっと全部の理解がつながったので是非やってみてください。あと、Ｌｏｓｓ関数を他人に説明できたら脱ブラックボックスできると思います。頑張ってください。
。
＊１論文図の上側の太さの違うBoundhingBox群と下側のカラフルなクラス分類結果のマップ

[ytbbsq]

丁寧な解説ありがとうございました！
自力の実装チャレンジしてみます！！