回答編集履歴
2
質問に対する直接の回答になってなかったので追記
test
CHANGED
|
@@ -1,4 +1,34 @@
|
|
|
1
|
+
> 機械学習における正規化、標準化を行う場合には、
|
|
2
|
+
|
|
3
|
+
①データ全体に対してまとめて正規化、標準化をかけるべきなのか
|
|
4
|
+
|
|
5
|
+
②データの各columnsごとに正規化、標準化をかけるべきなのか。
|
|
6
|
+
|
|
7
|
+
|
|
8
|
+
|
|
9
|
+
基本的には、columnごと（変数ごと）にスケーリングするべきです。
|
|
10
|
+
|
|
11
|
+
|
|
12
|
+
|
|
13
|
+
すべての（説明）変数のスケールを同一に揃えることに意義があります。そうすることによって、アルゴリズムによっては収束速度や性能に顕著な性能が現れます。SVMやMLPあたりで実験してみるといいかもしれません。
|
|
14
|
+
|
|
15
|
+
（ただし、まったく影響しないアルゴリズムもあるので注意。たとえば決定木など。そういうものを使うのであればスケーリングの必要性は薄い）
|
|
16
|
+
|
|
17
|
+
|
|
18
|
+
|
|
19
|
+
ただし、たとえば文書ベクトルを作るためにtf-idfを計算してからスケーリング、というのは当然無意味ですし、デカルト座標で取ったデータをスケーリングすると距離が狂うので好ましくない・・・といったケースもあります。その辺りはケースバイケースでよしなに判断する必要があります。
|
|
20
|
+
|
|
21
|
+
|
|
22
|
+
|
|
23
|
+
また、ここでいうスケーリングとは少し違いますが、行方向で揃えるという操作もあります。新聞記事をたくさん集めてきて特定の単語が何回出現するか・・・といった分析をやりたいときなど、記事によって長さが違うと公平に比較できませんから、文字数か単語数あたりで割っておいて相対的な頻度に変換する訳です。そういうこともある、ということを頭に入れておいてください。
|
|
24
|
+
|
|
25
|
+
|
|
26
|
+
|
|
27
|
+
---
|
|
28
|
+
|
|
29
|
+
|
|
30
|
+
|
|
1
|
-
そもそも、「列ごとに（変数ごとに）スケーリング」される仕様です。逆に配列全体でスケーリングする方法は（`sklearn.preprocessing`のスケーリングモデルを使う限りは）自然な使い方をする限りないと思います。
|
|
31
|
+
そもそも、sklearnの`MinMaxScaler`などは「列ごとに（変数ごとに）スケーリング」される仕様です。逆に配列全体でスケーリングする方法は（`sklearn.preprocessing`のスケーリングモデルを使う限りは）自然な使い方をする限りないと思います。
|
|
2
32
|
|
|
3
33
|
|
|
4
34
|
|
1
追記
test
CHANGED
|
@@ -1,4 +1,4 @@
|
|
|
1
|
-
そもそも、「列ごとに（変数ごとに）スケーリング」される仕様です。逆に配列全体でスケーリングする方法は（`sklearn.preprocessing`のモデルを使う限りは）自然な使い方をする限りないと思います。
|
|
1
|
+
そもそも、「列ごとに（変数ごとに）スケーリング」される仕様です。逆に配列全体でスケーリングする方法は（`sklearn.preprocessing`のスケーリングモデルを使う限りは）自然な使い方をする限りないと思います。
|
|
2
2
|
|
|
3
3
|
|
|
4
4
|
|