kerasのaccuracyは、多クラス分類の場合モデルの精度が悪くても高い値になるのではないか？

Question

質問内容

タイトルのとおりです。

そう思う根拠は、
accuracy = (TP + TN) / (TP + TN + FP + FN)

なので、多クラス分類の場合、(例えば、4クラス分類の場合)

np.argmax(predict)とnp.argmax(y_true)が同じ場合

accuracy = 1

np.argmax(predict)とnp.argmax(y_true)が違う場合

np.argmax(predict) : 1
np.argmax(y_true) : 3
の場合、

名称	0	1	2	3
predict	0	1	0	0
y_true	0	0	0	1
accuracy	1	0	1	0

なので

accuracy = 2 / 4

両方の確率とaccuracyを掛けると

モデルがランダムな値を返すAIの場合、accuracyの値は、

# 確率 x accuracy
1/4 * 1 + 3/4 * 1/2 = 5/8

よって、accuracyの平均値は5/8となります。

任意のカテゴリー数xに対するaccuracyは、

accuracy = 1/x * 1 + (x - 1)/x * (x - 2)/x
<=> accuracy = (x^2 - 2x + 2)/(x^2)
<=> accuracy = (1 - 2/x + 2/x^2)

x -> infの極限値は、
accuracy = 1
となるので、カテゴリー数が多いほどaccuracyは1に近づくのではないでしょうか？

おそらく、上に述べた理由の中に間違った部分があると思うので、指摘していただけると嬉しいです。

Answer 1

特に間違っていません。

カテゴリ数が多く、かつほとんどのカテゴリに含まれない場合、当然の結果としてaccuracyは高くなります。

分類機の評価としてaccuracyを使うはふさわしくありません。
評価にはF値(F-Score)を使うことが多いでしょう。「機械学習 F値」などで検索するといいかと思います。

---

本題ではないですが、精度という言葉を特に注釈なく使った場合は、accuracyそのものを指す、つまりaccuracyの訳語として精度と言うことが多いです。

ここでは「モデルの精度」がaccuracyを指していないのは明らかですのでいいですが、一応書いておきます。

Comments

[fdaskjlfda]

そうなんですね
ありがとうございます！

また、精度という言葉についてもわかりました
ありがとうございます！