データ前処理時の正規化、標準化は全体に対してかけるべきか、それともcolumnsごとにかけるべきでしょうか。

Question

データの前処理で行う正規化や標準化についての質問です。

機械学習における正規化、標準化を行う場合には、

①データ全体に対してまとめて正規化、標準化をかけるべきなのか
②データの各columnsごとに正規化、標準化をかけるべきなのか。

それを決めるような基準は存在するのでしょうか。悩んでいます。

例えば、

#①dataFrameに対して全体にかける。
scaler=MinMaxScaler()
X_scaled=scaler.fit_transform(df)

#②各項目について正規化を行っていく。
scaler=MinMaxScaler()
X_scaled_=scaler.fit_transform(df[df.columns[1])

コード

いつもなんとなくで選んで正規化、標準化を行っていたのですが.columnsごとの最大最小の幅が大きいときはMinMaxScaler()を行ってみようかなと、各データごとに適応しようかなとなんとなく決めていました。

やはり正則化は通常は各データ列ごとに行うべきなのでしょうか。それとも出力されたデータの精度を比較して決定する必要がある、いわば時と場合によるのでしょうか.

初心者的な質問であったなら申し訳ありません。本などで勉強中なのですが、あまり調べても具体的なことがわからず。
アドバイスをいただけますと幸いです。よろしくお願いします。

Answer 1

機械学習における正規化、標準化を行う場合には、

①データ全体に対してまとめて正規化、標準化をかけるべきなのか
②データの各columnsごとに正規化、標準化をかけるべきなのか。

基本的には、columnごと（変数ごと）にスケーリングするべきです。

すべての（説明）変数のスケールを同一に揃えることに意義があります。そうすることによって、アルゴリズムによっては収束速度や性能に顕著な性能が現れます。SVMやMLPあたりで実験してみるといいかもしれません。
（ただし、まったく影響しないアルゴリズムもあるので注意。たとえば決定木など。そういうものを使うのであればスケーリングの必要性は薄い）

ただし、たとえば文書ベクトルを作るためにtf-idfを計算してからスケーリング、というのは当然無意味ですし、デカルト座標で取ったデータをスケーリングすると距離が狂うので好ましくない・・・といったケースもあります。その辺りはケースバイケースでよしなに判断する必要があります。

また、ここでいうスケーリングとは少し違いますが、行方向で揃えるという操作もあります。新聞記事をたくさん集めてきて特定の単語が何回出現するか・・・といった分析をやりたいときなど、記事によって長さが違うと公平に比較できませんから、文字数か単語数あたりで割っておいて相対的な頻度に変換する訳です。そういうこともある、ということを頭に入れておいてください。

---

そもそも、sklearnのMinMaxScalerなどは「列ごとに（変数ごとに）スケーリング」される仕様です。逆に配列全体でスケーリングする方法は（sklearn.preprocessingのスケーリングモデルを使う限りは）自然な使い方をする限りないと思います。

Transforms features by scaling each feature to a given range.

https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.MinMaxScaler.html

>>> from sklearn.preprocessing import MinMaxScaler
>>> mms = MinMaxScaler()
>>> mms.fit_transform([[0, 0], [1, 10], [5, 500]])
array([[0.  , 0.  ],
       [0.2 , 0.02],
       [1.  , 1.  ]])

---

データフレームをまるごと入れるのは乱暴なので、必要な部分だけ切り出したnumpy配列にして渡すのが自然です。

基本的にsklearnのモデルはnumpy配列を入出力で使うことを想定しています。たとえば次のように書いてあります。

X : numpy array of shape [n_samples, n_features]

できるだけ上流でnumpy配列に変換し、sklearnに入力する段階ではすべてnumpy配列として取り扱った方が、余計なトラブルを避けられます。

あと、下のコードはそもそも動作しないはずです。

X_scaled_=scaler.fit_transform(df[df.columns[1])

Comments

[yohehe]

hayataka様ありがとうございます。
コード部分を簡易的にしてしまい、誤りがありまして申し訳ありません。

sklearn.preprocessingのモジュールが列ごとにスケーリングされる仕様ことを知らずに用いていたためよくわかっておりませんでした。ありがとうございます。

[yohehe]

いつもなんとなく正規化を行っていたため、スッキリしました。ありがとうございます。
SVMやMLPで収束への影響についてこれからテストしてみようと思います。

単語の出現頻度などでの標準化などを行う場合には、行方向で揃えるような方法をとることがあることも全く知らなかったです。基本的にcolumnsごとに正規化を検討し、データの性質を見ながらスケーリングの方法判断していくことが望ましいことがわかりました。

ありがとうございました。