0
0
テーマ、知りたいこと
回帰分析の評価指標の使い分けについて
背景、状況
Pythonを使用し、回帰分析の学習を行っています。
作成した回帰モデルの評価を行うにあたり、調査を行ったところ以下のような評価指標がありました。
・MSE
・RMSE
・MAE
・決定係数
いずれも、回帰モデルの評価に使用すると思うのですが皆さんはどのように使い分けているのでしょうか？
MAEは外れ値に強くなるという基準があると思いますが、他の指標はどのタイミングで使用するのでしょうか？
MSEとRMSEに至っては平方根をとるだけの違いしかないと思うのですが、使用するタイミングに違いがあるのでしょうか？
決定係数については、とりあえず確認するようにしていますが、明確な理由なく使っています。
上記のように、各評価指標の使い分けが曖昧なので質問させていただきました。
回答1件
#1
総合スコア2240
投稿2024/02/23 07:10
DataRobot社のモデル最適化指標・評価指標の選び方、@ITさんの第9回 機械学習の評価関数（回帰／時系列予測用）を使いこなそうの記事がわかりやすいかと
- MSE 大きいエラーを重要視する場合。ただ二乗しているのでその値の解釈をしにくい。
- RMSE 大きいエラーを重要視する場合。単に平方根をとっているだけですが、元の単位に戻り解釈がしやすい。
- MAE 誤差の幅を等しく扱う場合
- 決定係数 上記記事には明示ありませんが、この指標の定義通りに、その説明変数で目的変数の何割を決定できているかを知りたい場合
主な使い分けの根拠としては
- モデルの性能を自分で評価する場合は解釈性よりもモデル性能の最適化が最重要
コンペ等ではRMSEで評価する場合が多いようです
- モデルの性能をあまり機械学習に詳しくない方に説明する場合は解釈のしやすい指標が最重要
MAEや挙げられてはいませんがMAPEによる誤差率などが比較的良く用いられるかと思います
あるいは何割を決定できているかの観点であれば決定係数
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。