「係数を最適化する」という意味

Question

線形モデルにおける回帰で、正則化し、係数を最適化するということは、
「説明変数の中でもよりよく出力を説明している特徴量とそうでないものとで、出力に対する影響の度合いを操作する」ということと捉えていいのでしょうか？

例えば、
「体重　＝　w１＊身長　＋　w２＊年齢　＋　w３＊歌のうまさ」という式があった時に体重をうまく説明していない要素の「歌のうまさ」の係数w３を小さくし影響度を小さくすることで、w３とw１、w２の係数に差をつけることで体重をよりうまく説明しようとする、ということでしょうか？

Answer 1

概ねその理解で問題ないと思います。

補足
目的変数が外れ値を含むか否か、係数にスパース性を仮定するべきかどうか、などで使用するloss関数や正則化項を適切に選択する必要があります。