MLPにて汎化性能がalphaを変えても変化しない。

Question

以下のようなコード(Pythonではじめる機械学習から)で学習しました。
ですが、デフォルト値alpha=0.0001から1に変えても訓練精度が変化するだけで
テスト精度が向上しません。書籍の方では向上していたのですが、

from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
from sklearn.neural_network import MLPClassifier
import mglearn


cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(
    cancer.data, cancer.target, random_state=0, stratify=cancer.target)
# データのスケール変換を手動で行う。
#　各特徴量の平均を算出
mean_on_train = X_train.mean(axis=0)

# 同様に標準偏差も導出
std_on_train = X_train.std(axis=0)

# 訓練データとテストデータを変換
X_train_scaled = (X_train - mean_on_train) / std_on_train
X_test_scaled = (X_test - mean_on_train) / std_on_train

# まずはデフォルトで学習
mlp = MLPClassifier(random_state=42, max_iter=1000)
mlp.fit(X_train_scaled, y_train)
print('訓練精度 スケール変換後', mlp.score(X_train_scaled, y_train))
print('テスト精度 スケール変換後', mlp.score(X_test_scaled, y_test))

# 正則化を強めて汎化性能の向上を試みる
mlp = MLPClassifier(random_state=42, max_iter=1000, alpha=1)
mlp.fit(X_train_scaled, y_train)
print('訓練精度 スケール変換後 alpha=1', mlp.score(X_train_scaled, y_train))
print('テスト精度 スケール変換後 alpha=1', mlp.score(X_test_scaled, y_test))

訓練精度 スケール変換後: 1.0
テスト精度 スケール変換後: 0.958041958041958

訓練精度 スケール変換後 alpha=1: 0.9882629107981221
テスト精度 スケール変換後 alpha=1: 0.958041958041958

Comments

[meg_]

モジュールのバージョンは書籍と合わせていますか？

[jbpb0]

下記の「3.3.2 ニューラルネットワークのチューニング」でも、「alpha=1」の有無でテストセットの精度は変わってません
https://nozma.github.io/ml_with_python_note/3-3-%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0.html

[jbpb0]

「Pythonではじめる機械学習」の112ページのコードでは、「random_state=42」ではなく「random_state=0」なので、当方のMacのPythonでそれで実行したら、その場合は「alpha=1」を付けた方がテストセットの精度がちょっとだけ(差は1ポイント未満)ですが良くなりました

でも、それで「alpha」を増やした方が良くなったと言っていいのかは、正直分かりません
「random_state」を別の数値に変えたら、もしかしたら「alpha」を増やしたら悪化する場合があるかもしれないし、テストセットの精度向上は1ポイント未満とわずかだったし
(書籍も「alpha」によるテストセットの精度向上は1ポイント未満)

Answer 1

「Pythonではじめる機械学習」の112ページのコードでは、「random_state=42」ではなく「random_state=0」なので、当方のMacのPythonでそれで実行したら、その場合は「alpha=1」を付けた方がテストセットの精度がちょっとだけ(差は0.01未満)ですが良くなりました

でも、それで「alpha」を増やした方が良くなったと言っていいのかは、正直分かりません
「random_state」を別の数値に変えたら、もしかしたら「alpha」を増やしたら悪化する場合があるかもしれないし、テストセットの精度向上は0.01未満とわずかだったし
(書籍も、「alpha」によるテストセットの精度向上は0.965→0.972で0.01未満)