SVRにおけるスケーリング

Question

前提・実現したいこと

kaggleのHousePricesに挑戦しています。
勾配ブースティングとSVRのスタッキングをしました。

そこで、SVRにおいてMinMaxScalerを使ったらスコアが上がりましたが、勾配ブースティングにおいては上がりませんでした。

なぜSVRだと効果があって、勾配ブースティングだと効果がないのか教えていただきたいです。

自分が書いたコード載せておきます。予測値出したり、スタッキングはまだしていないです。

import numpy as np
import pandas as pd
import seaborn as sns
%matplotlib inline
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.svm import SVR
from sklearn.preprocessing import MinMaxScaler
import numpy as np
import pandas as pd
import seaborn as sns
%matplotlib inline
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.svm import SVR
from sklearn.preprocessing import MinMaxScaler

#データの読み込み
df_train = pd.read_csv("train.csv")
df_test = pd.read_csv("test.csv")

y_train = df_train["SalePrice"]
train_id = df_train["Id"]
test_id = df_test["Id"]
train = df_train.drop(["Id", "SalePrice"], axis=1)
test = df_test.drop(["Id"], axis=1)

#欠損値の処理を行うためにデータをくっつける。
all = pd.concat((train, test)).reset_index(drop=True)

#欠損値の確認と表示
null_counts = all.isnull().sum()[all.isnull().sum() > 0]

#欠損値を含むインデックスのタイプを表示
Dtypes = all[null_counts.index.tolist()].dtypes


#Dtypesの中で、float64とobjectに分ける
na_float_columns = Dtypes[Dtypes=="float64"].index.tolist()
na_object_columns = Dtypes[Dtypes=="object"].index.tolist()

#float64には0, objectにはNAを代入
for i in na_float_columns:
    all[i].fillna(0, inplace=True)
for i in na_object_columns:
    all[i].fillna("NA", inplace=True)


#分析に使うために、ダミー変数作る
New_all = pd.get_dummies(all)
 

#欠損値の処理とダミー変数できたから、くっつけたデータを元に戻す。
New_train = New_all[:train.shape[0]]
New_test = New_all[train.shape[0]:]


#目的変数が正規分布に従っているかチェック
ax = sns.distplot(y_train)
plt.show()

#従っていないので、対数変換
ln_y = np.log(y_train)
ax = sns.distplot(ln_y)
plt.show()

訓練データ
#ダミー変数をつくったNew_trainとSalePricesだけのln_yをテストデータと訓練データに分ける
X_train, X_test, y_train, y_test = train_test_split(New_train, ln_y, random_state=0)

#最良のパラメーターを探す。
best_score = 0
for max_depth in [1, 2, 3, 4, 5]:
    for learning_rate in [0.01,0.03, 0.05, 0.07, 0.1]:
        gbr = GradientBoostingRegressor(max_depth=max_depth, learning_rate=learning_rate, n_estimators=500, random_state=0).fit(X_train, y_train)
        score_test = gbr.score(X_test, y_test)
        if score_test > best_score:
            best_score = score_test
            best_parameters = {"max_depth" : max_depth, "learning_rate" : learning_rate}
print("best_score : {}".format(best_score))
print("best_parameters : {}".format(best_parameters))

best_score : 0.9032482825982191
best_parameters : {'max_depth': 3, 'learning_rate': 0.1}

#勾配ブースティングでスコアをだす。
gbr = GradientBoostingRegressor(n_estimators=500, max_depth=3, learning_rate=0.1, random_state=0).fit(X_train, y_train)
print("Traing set score: {}".format(gbr.score(X_train, y_train)))
print("Test set score: {}".format(gbr.score(X_test, y_test)))

Traing set score: 0.9935239671523681
Test set score: 0.9032482825982191

#スケーリングする
scaler = MinMaxScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

#最良のパラメーターを探す。
best_score = 0
for C in [0.001, 0.01, 0.1, 1, 10, 100]:
    for gamma in [0.001, 0.01, 0.1, 1, 10, 100]:
        svr = SVR(C=C, gamma=gamma).fit(X_train_scaled, y_train)
        score_test = svr.score(X_test_scaled, y_test)
        if score_test > best_score:
            best_score = score_test
            best_parameters = {"C" : C, "gamma" : gamma}
print("best_score : {}".format(best_score))
print("best_parameters : {}".format(best_parameters))

best_score : 0.8590659245202418
best_parameters : {'C': 1, 'gamma': 0.01}

#svrのスコアだす
svr = SVR(C=1, gamma=0.01).fit(X_train_scaled, y_train)
print("Traing set score: {}".format(svr.score(X_train_scaled, y_train)))
print("Test set score: {}".format(svr.score(X_test_scaled, y_test)))

Traing set score: 0.929808431553013
Test set score: 0.8590659245202418

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

SVMの場合は入力のベクトルをそのまま使って計算する要素があります。基本的に最適化問題なので、スケーリングした方が収束が良かったりもしますし、識別関数にもそのまま入力のベクトルが使われます。

Scikit-learnによるサポートベクターマシン
サポートベクターマシンを手計算して理解する - HELLO CYBERNETICS
SVMについて整理してみた。 - Qiita

勾配ブースティングは決定木のアンサンブル系の手法ですが、決定木はデータのスケールに依存しないという特徴があり、その特徴を引き継いでいます（アダブースト、ランダムフォレストなども同様の性質を持ちます）。

Comments

[fuma3]

わかりやすくありがとうございます！

少し話は変わってしまうのですが、
回帰の時に目的変数を対数変換して正規分布に近づけると精度が上がる理由について追加で教えていただきたいです。
可能でしたら、よろしくお願いいたします！

[hayataka2049]

一般的として答えるのは難しいですが
・データにそういう関係があった
・モデルが正規分布を仮定していたか、そうでなくても正規分布に近いほうが学習しやすい性質だった
・線形に近づけたことで結果にシビアに影響する学習パラメータを減らせて汎化性能を上げられた
あたりの複合要因ですかね。

[fuma3]

ありがとうございます！