機械学習における標準化の意味

Question

機械学習において、木系のアルゴリズムを使うとき以外は基本的にｚスコアを求めることでデータの標準化を行いますが、その意味について質問です。

例えば、ロジスティック回帰で二値分類を行うとします。仮に、モデルfit後の、係数を見てどの変数がより予測に影響を与えているかを見るなら、標準化する意味は分かります。

しかし、ただ単に予測することだけが目的の時、標準化に意味はあるのでしょうか？

調べたところ、値の取りうる範囲が大きい場合、再急降下法の学習率が掛かる項が大きくなり、ほかの変数よりも早く値が更新されてしまうことなどが挙げられていましたが、結局最終的に最適化できれば問題ないのでは？と思ってしまいます。

よろしければご意見お聞かせください。

Comments

[退会済みユーザー]

こんにちは、気になる話題だったのでコメントします。ここでいう標準化とはWkipediaでいうところの正規化と同義でしょうか？万が一、正規化とか標準化って言葉が多義化してたら論点が見えづらいかなと思いました。

[nouken]

平均を引いて標準偏差で割る標準化のほうです！ロジスティック回帰、SVMなどの手法ではmin-max scalingよりもzスコアによる標準間がよく用いられる気がします。

[退会済みユーザー]

なるほど、勉強になりました。ありがとうございます。

Answer 1

最終的に最適化できれば

2桁以上スケールが違うと、とんでもなく時間がかかるとか、そもそも最終的に最適化できない（現実的な時間で収束しない）というケースも珍しくないです（アルゴリズムにもよりますが）。