線形回帰の正則化手法について

Question

線形回帰の正則化手法についてですが、以下のようにとらえています。
このような考え方で、よろしいのでしょうか。
・線形回帰は、特徴量が複雑（特徴量数が多い）だと、過学習を起こしやすい。
・ridge回帰は、最小二乗法の式に正則化項（L2ノルム）を加え、その最小を求めることで過学習を防ぐ。
・rosso回帰は、最小二乗法の式に正則化項（L1ノルム）を加え、その最小を求めることで過学習を防ぐ。また、不要な特徴量を削減できる。
・ElsticNet回帰は、最小二乗法の式に、正則化項（L1ノルム）と正則化項（L2ノルム）を一定比率で加え、その最小を求めることで過学習を防ぐ。また、不要な特徴量を削減できる。
・３つの正則化手法で、一番相性のよい（一例といして、mse（平均二乗誤差）が小さい）ものを選択する。
・学習不足の線形モデルには、正則化は不必要である。

Answer 1

rosso -> lasso
ElsticNet -> ElasticNet

ですね。私の理解でもご質問者様の通りでよいと思うのですが、「よい」という回答で良いのでしょうか？
しっくりきていないならば書籍でもネット記事でもコード例付きの解説が多数ありますので、自分で納得するように確認されたらよろしいかと思います。

Comments

[kouji_39]

aokikenichi様、アンサーありがとうございます。線形回帰の正則化は、ボストン市の住宅価格データセット
で、線形回帰、ridge回帰、rosso回帰、ElasticNet回帰をやってみて、質問文の感想を持ちました。同意のご意見が聞けて良かったです！