平均適合率が重視する要素が分かりません

Question

物体検出における平均適合率は、適合率と再現率のどちらを重視した指標と言えるのでしょうか。

Answer 1

興味深い問題なので実験してみたところ、適合率を重視しているという結果が出ました。
理論的背景はわかりませんが、ご参考まで。

シンプルに2値の乱数で正解ラベルを、0〜1の一様乱数で予測値（2値にする前の値）で求め、適合率、再現率、平均適合率を計算し、それぞれの相関がわかるようにグラフ化しました。

import numpy as np
from sklearn.metrics import precision_score, recall_score, average_precision_score
import matplotlib.pyplot as plt

SIZE = 100

prec = []
recall = []
ap = []
for i in range(1000):
	y_true = np.random.randint(0, 2, SIZE)
	y_score = np.random.normal(0, 1, SIZE)
	y_pred = np.where(y_score > 0.5, 1, 0)
	prec.append(precision_score(y_true, y_pred))
	recall.append(recall_score(y_true, y_pred))
	ap.append(average_precision_score(y_true, y_score))

_, ax = plt.subplots(1, 3)
ax[0].scatter(prec, recall, marker='.')
ax[0].set_title('prec - recall')
ax[1].scatter(ap, prec, marker='.')
ax[1].set_title('ap - prec')
ax[2].scatter(ap, recall, marker='.')
ax[2].set_title('ap - recall')
plt.show()

こちらが結果です。左のグラフは、適合率と再現率が適度に散らばっているか見るもので、真ん中と右のグラフが質問に対応したものです。はっきりと、適合率が重視されていることがわかります。

Comments

[hikaru397]

グラフへの可視化まで行っていただきありがとうございます。
また、各グラフについてご説明いただき、ありがとうございます。
平均適合率が、適合率を重視する指標であることが良く分かり、大変勉強になります。

平均適合率は、再現率と適合率の内、適合率を重視していますが、
逆に、再現率と適合率の内、再現率を重視するような評価指標は存在するのでしょうか。

[toast-uz]

言葉通りであれば"平均再現率"という指標がありそうですが、この言葉でググっても、再現率の単純平均を意味するものが多く、期待とは違います。ただし、物体検出データセットのCOCOでは、Average Recallという指標があって、期待通りのAPの再現率版のような指標になっているようです。
https://www.sigfoss.com/developer_blog/detail?actual_object_id=267
の文末を参照ください。定義はわからないですが、調査のとっかかりにはなるかと思います。sklearnにはありませんので、あまり一般的にはなっていなさそうです。

[hikaru397]

ありがとうございます。大変助かります。
Average Recall について一度調べてみます。