Q&A
> 例えば、accuracyが最も高くなるように調整されるのでしょうか？
損失関数が最小になるように学習するのが一般的かと思います。
機械学習（SVM）を実行してモデル評価指標を出力しました。
accuracy、precision、recall等が出力されました。
このモデル（機械学習）では、これら複数の指標をどのように調整して出力しているのでしょうか？
例えば、accuracyが最も高くなるように調整されるのでしょうか？
または、f値が最も高くなるように調整されるのでしょうか？
よろしくお願いいたします。
from sklearn import metrics # テストデータで試した正解率を返す accuracy = clf.score(x_test_std, y_test) print(f"正解率⇒ {accuracy}") print(' ') # 学習済モデルを使ってテストデータを分類した結果を返す predicted = clf.predict(x_test_std) # 詳しいレポート print("classification report") print(metrics.classification_report(y_test, predicted)) # 混同行列（Confusion Matrix） from sklearn.metrics import confusion_matrix print(confusion_matrix(y_test, predicted)) from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
正解率⇒ 0.8583333333333333 classification report precision recall f1-score support 0 0.75 0.48 0.59 25 1 0.88 0.96 0.91 95 accuracy 0.86 120 macro avg 0.81 0.72 0.75 120 weighted avg 0.85 0.86 0.85 120 [[12 13] [ 4 91]]
ご回答ありがとうございます。
追加で質問させてください。
損失関数が最小になるように学習すると、accuracyが最も高くなるのでしょうか？
その場合、precisionなど他の指標よりaccuracyは優先されるのでしょうか？
機械学習一般についてですが、そんなことはないと思います。学習の結果を見て、何の指標を重視するかは人が判断することです。
ご連絡ありがとうございます。
すこし、モヤモヤしておりまして。。
accuracy、precision、recall、f値の4指標について考えてみますと、だいたい、accuracyが最も高くなるようなので、他指標より優先されるように思いました。
（常にaccuracyが一番高くなるように、全体調整される）
そうではなく、例えば、accuracy<f値(macro) などとなる場合もあるのでしょうか？
もし、そうだとすれば、どのような基準で評価結果を出力しているのでしょうか？
何度もすみません。
よろしくお願いいたします。
accuracy、precision、recall、f値の4指標は値の範囲はどれも [0, 1] ですが、そもそも異なる指標なので、それらの値同士の大小を比較することに意味はありません。
例えば、A、B という2つのモデルがあったとき、同じ accuracy で比較することは意味がありますが、モデルAの accuracy の値とモデルBのF1値の値を計算しても、図っている物差しが異なるので比較できません。
ご連絡ありがとございます。
はい、ご指摘の内容は理解しております。
質問の仕方が拙くて申し訳ございません。
お聞きしたかったのは、以下のとおりです。
「１つのモデルで同時にaccuracy、precision、recall、f値の4指標が出力された場合、それぞれ独立ではないにも関わらず、一意の値が決まり出力される。
これら指標はどれかが高くなれば、どれかが低くなる（あるいは両方高く・低くなる）というような「関係性（従属性）」が存在するはず。
なので、accuracyを一番高くしてf値を従属する値にすることは可能であるし、その逆も可能なはずであり様々。
しかし、実際はaccuracyが最も高くなる。f値（macro）などを最も高くしないのは何故か？」
以上です。
どうぞよろしくお願いいたします。
F1 = 2 / (1/Presition + 1/Recall) なので、Presition や Recall を高くしたら、F1 が高くなる (またはその逆) という関係はありますが、それ以外の Precision、Recall、Accuracy に関してはそれぞれ独立した指標です。どれかを高くしたからといって他のどれかが高くなる、もしくは低くなるという主張は真ではありません。
> しかし、実際はaccuracyが最も高くなる。f値（macro）などを最も高くしないのは何故か？
機械学習のアルゴリズムは目標関数を定義して、それを最大化または最小化するように重みを調整するので、例えば Precision を重視して他の指標はどうでもいいってことであれば、「正例の検出が正しいかどうか」という基準だけを損失関数に組みこんで最適化すれば Precision が最大のモデルができます。
どの指標を重視するかは問題設定やデータセットのラベルの割合などで決めます。
今回の SVM の場合はパラメータ調整はマージンが最大になるように行われるので、先の指標のどれかを高くしようとしてパラメータ調整しているわけではありません。いくつかあるハイパーパラメータ次第で学習結果は変わってきます。 Precision を重視したいということであれば、グリッドサーチで Precision が最大となるようなハイパーパラメータの組み合わせを探せばよいと思います。
ご回答ありがとうございます。
理解できました。
どの指標がどうなるかは、ハイパーパラメーターの設定次第、すなわち人間側次第ということなのですね。
詳しくお教え頂きどうもありがとうございました。
回答1件
0
ベストアンサー
例えば、accuracyが最も高くなるように調整されるのでしょうか？
または、f値が最も高くなるように調整されるのでしょうか？
これらの評価指標を見て、それが高くなるようにパラメータを調整しているわけではありません。これらの評価指標はあくまで結果です。
SVM の学習はマージンを最大化するように重みを調整することで行われます。マージンが最大となるように境界線を設けると、2つのクラスを上手くわけることができ、結果的にこれらの評価指標の値もよくなります。
具体的なアルゴリズムについては、「SVM マージン最大化」で検索すると沢山情報がでてくるので、そちらを参照してください。
投稿2021/02/01 03:30
編集2021/02/01 03:31総合スコア21956
accuracy、precision、recall等を直接説明するものではありませんが、機械学習のさまざまな指標の位置づけの違いは、こちらの記事を読むとわかりやすいです。
https://www.datarobot.com/jp/blog/%E3%83%A2%E3%83%87%E3%83%AB%E6%9C%80%E9%81%A9%E5%8C%96%E6%8C%87%E6%A8%99-%E8%A9%95%E4%BE%A1%E6%8C%87%E6%A8%99%E3%81%AE%E9%81%B8%E3%81%B3%E6%96%B9/
ご回答ありがとうございました。
一度、記事を読んでみたいとおもいます。
質問者さんへ
マージンが最大になっても、必ずしもaccuracyが最大になるとは限りません
なるべくそうなるように、ハイパーパラメータを調整するわけです
参考
https://qiita.com/yh0sh/items/d58a3e4850ec77b58be0
ご回答ありがとうございます。
追加でお教えください。
>マージンが最大になっても、必ずしもaccuracyが最大になるとは限りません
となりますと、マージンが最大になった場合、どの指標が最大になるのでしょうか？
> マージンが最大になった場合、どの指標が最大になるのでしょうか？
SVM の学習は accuracy、precision、recall などの評価指標と直接関係はありません。SVM の学習指標はマージンを最大にすることのみです。
結果として、accuracy、precision、recall といった評価指標の値もよくなったりもしますが、最大になることは保証されていません。
> マージンが最大になった場合、どの指標が最大になるのでしょうか？
何もしなければ、どれも「最大」にはなりません (偶然なるかもしれないけど、可能性はとても低い)
ハイパーパラメータをとんでもなく変な値にしなければ、「最大にある程度近く」なるとは思いますが
ハイパーパラメータの組み合わせをいろいろ変えながら、マージン最大化をした時にaccuracyとかがどうなるのかを計算して、出来るだけ最大に近くなるようなハイパーパラメータを探索するのです
理解できました。
要はハイパーパラメータ次第でどの指標も高くできる、ということなのですね。
ありがとうございました。
あなたの回答
tips
プレビュー
