【scikit-learn】SVMでグリッドサーチを使用する際の正規化（Scalerの使い方）について

Question

悩んでいること

SVMのパラメータをチューニングするために、GridSearchCVを用いています。
GridSearchCVで交差検証を行う前に、データの正規化を行いたいのですが、コードに迷っています。

現状

（一部省略）

X = df_all
y = df["label"]

(train_X , test_X , train_y , test_y) = train_test_split(X, y, test_size = 0.25, random_state = 0, shuffle=False)

param_dict = {
    "C": [0.1 * x for x in range(1, 1001)],
    "gamma": [0.01 * x for x in range(1, 10)]
}

scalar = MinMaxScaler().fit(train_X)
train_X_scaled = scalar.transform(train_X)
test_X_scaled = scalar.transform(test_X)

grid_search = GridSearchCV(SVC(), param_dict, cv=10, return_train_score=False, scoring="roc_auc")
grid_search.fit(train_X_scaled, train_y)

best_parameters = grid_search.best_params_
svc = SVC(**best_parameters, random_state=0, probability=True)

svc.fit(train_X_scaled, train_y)
pred = svc.predict(test_X_scaled)

print('Test set AUC with best parameters: {}'.format(roc_auc_score(pred, test_y)))

上コード内の

scalar = MinMaxScaler().fit(train_X)
train_X_scaled = scalar.transform(train_X)
test_X_scaled = scalar.transform(test_X)

の部分でtrain_Xを利用してtrain_Xとtest_Xを正規化しています。
しかし、自分で調べたとことろ、test_X_scaled = scalar.transform(test_X)を書かずに、

svc.fit(train_X_scaled, train_y)
pred = svc.predict(test_X_scaled)

の部分を

svc.fit(train_X_scaled, train_y)
svc.predict(test_X)

としている文献があったり、

別の疑問として、

train_Xをまるごと正規化して交差検証の対象にしている
＝交差検証において、「学習データ（train_X_scaledの9/10）」が本来学習に使うべきでない「テストデータ（train_X_scaledの1/10）」も含めたデータ全体（train_X_scaled）で正規化されている
＝交差検証で過学習が起こっているのではないか？

という考えが生じ、頭がこんがらがっています。

詳しい方がいましたら、SVMでグリッドサーチを使用する際の、適切な正規化の方法をご教授頂きたいです。
よろしくお願いいたします。

追記

頂いた回答を参考に修正してみました。このコードで適切に書けているでしょうか？

//（一部省略）

X = df_all
y = df["label"]

(train_X , test_X , train_y , test_y) = train_test_split(X, y, test_size = 0.25, random_state = 0, shuffle=False)

# パイプライン
pipe = Pipeline([
           ('scale', MinMaxScaler()),
           ('clf', SVC())
       ])

param_dict = {
    "clf__C": [0.1 * x for x in range(1, 1001)],
    "clf__gamma": [0.01 * x for x in range(1, 10)]
}

grid_search = GridSearchCV(pipe, param_dict, cv=10, return_train_score=False, scoring="roc_auc")
grid_search.fit(train_X, train_y)

best_parameters = {}
best_parameters['C'] = grid_search.best_params_['clf__C']
best_parameters['gamma'] = grid_search.best_params_['clf__gamma']
svc = SVC(**best_parameters, random_state=0, probability=True)

scalar = MinMaxScaler().fit(train_X)
trainVal_X_scaled = scalar.transform(train_X)
test_X_scaled = scalar.transform(test_X)
svc.fit(train_X_scaled, train_y)
pred = svc.predict(test_X_scaled)

print('Test set AUC with best parameters: {}'.format(roc_auc_score(pred, test_y)))

Answer 1

トレーニングデータをスケールしているのにテストデータをスケールしていないのはミスだと思われます。
トレーニングセットが十分に大きくて、そこから求められる平均、分散が母集団の平均、分散として認められそうなら、常にtrain_X_scaledを使っていいと思います。テストデータに対しても使っていいです。
scaleがなにしているかと、平均値が正しく求められてそうかを調べてみてください。

Answer 2

scikit-learnで複数のモデルを多段に積み重ねる場合、原則的にはPipelineを使うようにしてください。それが混乱を防ぐ最良の方法です。

sklearn.pipeline.Pipeline — scikit-learn 0.21.3 documentation

Comments

[dal]

ご回答ありがとうございます。

>複数のモデルを多段に積み重ねる場合
これは交差検証のことを指しているのでしょうか？
私のコードでは10個のモデルを積み重ねていると言えますかね。

[hayataka2049]

＞これは交差検証のことを指しているのでしょうか？
いえ、たとえばMinMaxScalerでスケーリングしてからSVCで予測するといったケースのことを言っています。他にも、変数選択や次元削減を入れようとするときはだいたい当てはまります。

[dal]

Pipelineを使用して修正してみました。
追記の項目を確認していただけると幸いです。

[hayataka2049]

grid_search.fit(train_X, train_y)
の行までは良いと思います。その後は間違っています。
グリッドサーチを行った後、改めてモデルを構成する必要はありません。得られたgrid_searchをそのまま使うか、grid_search.best_estimator_を取り出して使えば十分でしょう（refit=True（デフォルト設定）の場合）。
https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html

なので、最短で書くなら
grid_search.fit(train_X, train_y)
pred = grid_search.predict(test_X)
print('Test set AUC with best parameters: {}'.format(roc_auc_score(test_y, pred))) # 引数の順番間違ってたので直しました
で終わりです。

[dal]

ご丁寧な返信ありがとうございます。
Pipelineを使うことによって、
grid_search.fit(train_X, train_y)
pred = grid_search.predict(test_X)
とするだけでMinMaxScalerが適用されるということでですね。

この場合、交差検証で過学習が起こることもないのでしょうか？（最初の質問の疑問点でもあります）

[hayataka2049]

交差検証における分割されたデータで訓練し、テストデータは変換のみが施されるよう自動で処理されますから、問題ないでしょう。

[dal]

ありがとうございました！

[hayataka2049]

Pipelineを使わない場合は確かに問題になります。パラメータチューニングにわずかに影響するだけなのでどうでも良いと割り切れるかどうかは微妙なところです。