教師データの前処理について

Question

いつもお世話になっております。

現在、機械学習の基礎を勉強するためにPythonによるAIプログラミング入門という書籍を利用して学習を行っています。
補足すると、機械学習、数学、統計の知識はほぼ0です。

書籍の2.3.2 平均値を引くという項があったのですが、これが良く理解出来ません。
2.3.2ではsklearnを利用してデータセットの前処理を行うといった内容が記載してあります。

書籍には下記の様な、説明とソースコードが記載してあります。

説明

平均値を引くのは、機械学習で一般的に使われる前処理です。特徴ベクトルから平均を引くと、特徴量の中心が原点になります。特徴ベクトルからバイアスを除去するために、平均を引くわけです。

import numpy as np 
from sklearn import preprocessing

input_data = np.array([[5.1, -2.9, 3.3], 
                       [-1.2, 7.8, -6.1], 
                       [3.9, 0.4, 2.1], 
                       [7.3, -9.9, -4.5]])
print("BEFORE:") 
print("Mean =", input_data.mean(axis=0)) 
print("Std deviation =", input_data.std(axis=0))

data_scaled = preprocessing.scale(input_data) 
print("AFTER:") 
print("Mean =", data_scaled.mean(axis=0)) 
print("Std deviation =", data_scaled.std(axis=0)) 

上記の説明で、なぜ特徴ベクトルから平均を引くことでバイアスが除去できるのかが分かりません。

簡単に言うと、平均を引くことのメリットを教えて頂きたいです。

ご存じの方がいましたら、ご教授のほどよろしくお願いいたします。

Answer 1

書籍の2.3.2 平均値を引くという項があったのですが、これが良く理解出来ません。

具体的には各次元ごとの平均値を引くです。

scikit-learn - 特徴量のスケーリング

この処理を行ったあとは次元ごとの平均が0になります。

証明は、X を1次元の確率変数としたとき、X の平均を E(X) で表す場合、
E(X - E(X)) = E(X) - E(X) = 0

サンプルコード

Iris データセットで確認した例

import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets

# データを取得
iris = datasets.load_iris()
X = iris.data[:, [0, 2]]  # 4次元のうち、2次元取り出す。(プロットするため)
print(X.shape)  # (150, 2)

# 平均を引く。
scaled = X - X.mean(axis=0)

# 各次元の平均が0になっていることを確認
print(f"X.mean(): {X.mean(axis=0)}")
# X.mean(): [5.84333333 3.758     ]
print(f"scaled.mean(): {scaled.mean(axis=0)}")
# scaled.mean(): [-3.3158661e-16 -6.6317322e-16]

# 描画する。
fig, [ax1, ax2] = plt.subplots(1, 2, figsize=(10, 5), sharex=True, sharey=True)

# 変換前のデータ
ax1.set_title("オリジナル")
ax1.scatter(X[:, 0], X[:, 1], s=5)
ax1.set_xlim(-10, 10)
ax1.set_ylim(-10, 10)
ax1.grid()

# 変換後のデータ
ax2.set_title("スケール後")
ax2.scatter(scaled[:, 0], scaled[:, 1], s=5)
ax2.grid()

plt.show()

変換後はデータの平均が原点に移動しているのがわかるかと思います。

Comments

[nobodytolove123]

ご回答ありがとうございます、わざわざ図はまで....ありがとうございます!