機械学習で回帰分析を行ったときに使用可能な評価指標について

Question

実現したいこと

回帰分析を行ったときに使用可能な評価指標ついて正しく理解する。

発生している問題・分からないこと

以前、重回帰分析を行っていたのですが、評価指標として、
mae、mse、rmse、決定係数、自由度調整済み決定係数、P値、T値
を用いていました。

現在、LightGBM を用いて回帰分析を行っているのですが評価指標として使用できる
ものはどれか確認したいです。

私の認識は以下の通りです。

使用できるもの
mae、mse、rmse、決定係数（専用のライブラリもあり、実際に使用している記事を確認した。）

使用できないもの
P値、T値（線形回帰時にしか使用できないし、算出できない。）

不明
自由度調整済み決定係数（算出はできるが、調査しても線形回帰の解説記事にのみ登場していた。）

上記の認識はあっていますでしょうか？
また、自由度調整済み決定係数についてわかる方いらっしゃれば解説をお願いします。

該当のソースコード

なし

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

自由度調整済み決定係数は説明変数が多いほど決定係数の数値が良くなりやすい点を考慮し、調整を施した指標として認識しています。そのため、機械学習モデルでも使用してもよい気はしているのですが、機械学習モデルに自由度調整済み決定係数を使用している例を確認できなかったため、使用できないのではないかとも考えています。

補足

追加調査したところ、線形回帰以外でも使用できるようでしたが、算出時に調整する計算式が異なる様でした。そのため、機械学習では使われていないと考えましたがあっていますでしょうか？
https://ja.wikipedia.org/wiki/%E6%B1%BA%E5%AE%9A%E4%BF%82%E6%95%B0

Comments

[meg_]

ドキュメントには「regression, the objective function is L2 loss」とありますね。

[gardsb]

なにのドキュメントでしょうか？
また、自由度調整済み決定係数が使用できるかご存知でしょうか？

[meg_]

> なにのドキュメントでしょうか？
LightGBMです。

Answer 1

回答が0のようなので少し的外れかもですが回答致します。

評価指標は
何が使えるか
ではなくなんの目的で誤差を評価したいか
によって決めるのが普通と思います。

以前、重回帰分析を行っていたのですが、評価指標として、
mae、mse、rmse、決定係数、自由度調整済み決定係数、P値、T値
を用いていました。

とのことですが、これら全てを毎回用いているのでしょうか？
重回帰のような数理モデルがしっかりしているものは、決定係数、自由度調整済み決定係数、P値、T値でモデルの妥当性を見る場合と予実差としてMAE, rmse、あるいはMAPEなどを見ることが多いと思います。
LightGBMなどランダム性を用いたアンサンブルモデルではp値や自由度などでモデル自体の有効性を見ようということがそもそも存在せず、予実差のMAE, rmse、あるいはMAPEなどを見ることがほとんどだと思います。

私の場合はデータ分析に馴染みのない客先に説明するため、絶対平均誤差率としてのMAPEで示すことが多いです。
パーセンテージではなく絶対値に意味がある時にMAEでしょうか。

rmseはモデルの比較としては良いですが一般の方は実務での誤差として認識しづらいため。

Comments

[gardsb]

ご回答ありがとうございます。
重回帰分析のときにはすべて出していました。
LightGBMでは、自由度調整済み決定係数の取り扱いだけよくわからないので質問させていただきました。
ご回答いただいた通りの使い分けがただしいと私も思いますが、機械学習モデルでも、決定係数を確認しモデルの有効性を確かめることもあるかと思います。
そのため、説明変数が増えたときのために自由度調整済み決定係数を使うべきかを検討していました。
自由度調整済み決定係数を使用してよいか、また使用する場合はなにか計算式を変えなくても問題ないのかを確認したいのです。

[aokikenichi]

申し訳ないですが違います

自由度調整済み決定係数というのは重回帰分析で用いられる指標なので

> 機械学習モデルでも、決定係数を確認しモデルの有効性を確かめることもあるかと思います。
がよくわかりません。ないと思います。聞いたことがないです。

> 説明変数が増えたときのために自由度調整済み決定係数を使うべきかを検討していました。
> 自由度調整済み決定係数を使用してよいか、また使用する場合はなにか計算式を変えなくても問題ないのか

LightGBMの自由度調整済み決定係数の計算式というのを聞いたことがありません。
できるのならばするのは自由だと思います。

機械学習では目的に応じて精度指標を用います。
良いか悪いかならば自由に、というところですが、自由度調整済み決定係数が必要なシチュエーションというのがわかりません。

端的に言うならば使用してはいけないです。