python 線形SVMのハイパーパラメーター グラフが何を意味しているのか教えていただきたいです。

Question

下のコードのグラフが何を意味しているのか教えていただきたいです。

Cのパラメーターが何を意味していて
実行結果のグラフから何がわかるのか簡単に教えていただけると嬉しいです。

import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.svm import LinearSVC
from sklearn.datasets import make_classification
from sklearn import preprocessing
from sklearn.model_selection import train_test_split
%matplotlib inline

# データの生成
X, y = make_classification(
    n_samples=1250, n_features=4, n_informative=2, n_redundant=2, random_state=42)
train_X, test_X, train_y, test_y = train_test_split(X, y, random_state=42)

# Cの値の範囲を設定(今回は1e-5,1e-4,1e-3,0.01,0.1,1,10,100,1000,10000)
C_list = [10 ** i for i in range(-5, 5)]

# グラフ描画用の空リストを用意
svm_train_accuracy = []
svm_test_accuracy = []
log_train_accuracy = []
log_test_accuracy = []

# 以下にコードを書いてください。
for C in C_list:
    # 線形SVMのモデルを構築してください
    model1 = LinearSVC(C=C, random_state=42)
    model1.fit(train_X, train_y)
    svm_train_accuracy.append(model1.score(train_X, train_y))
    svm_test_accuracy.append(model1.score(test_X, test_y))
    
    # ロジスティック回帰のモデルを構築してください
    model2 = LogisticRegression(C=C, random_state=42)
    model2.fit(train_X, train_y)
    log_train_accuracy.append(model2.score(train_X, train_y))
    log_test_accuracy.append(model2.score(test_X, test_y))
    
# グラフの準備
# semilogx()はxのスケールを10のx乗のスケールに変更する

fig = plt.figure()
plt.subplots_adjust(wspace=0.4, hspace=0.4)
ax = fig.add_subplot(1, 1, 1)
ax.grid(True)
ax.set_title("SVM")
ax.set_xlabel("C")
ax.set_ylabel("accuracy")
ax.semilogx(C_list, svm_train_accuracy, label="accuracy of train_data")
ax.semilogx(C_list, svm_test_accuracy, label="accuracy of test_data")
ax.legend()
ax.plot()
plt.show()
fig2 =plt.figure()
ax2 = fig2.add_subplot(1, 1, 1)
ax2.grid(True)
ax2.set_title("LogisticRegression")
ax2.set_xlabel("C")
ax2.set_ylabel("accuracy")
ax2.semilogx(C_list, log_train_accuracy, label="accuracy of train_data")
ax2.semilogx(C_list, log_test_accuracy, label="accuracy of test_data")
ax2.legend()
ax2.plot()
plt.show()

Comments

[jbpb0]

> Cのパラメーターが何を意味していて

「LinearSVC」は、

サポートベクターマシン ソフトマージン

でググると、解説記事がたくさん見つかるので、それの「ソフトマージン」の説明を見てください

「LogisticRegression」は、

ロジスティック回帰 正則化

でググると、解説記事がたくさん見つかるので、それの「正則化」の説明を見てください

[ryo123445556]

ありがとうございます。

[jbpb0]

> 実行結果のグラフから何がわかる

グラフの「accuracy of test_data」の値が高くなる時の「C」の値を使うと、未知のデータに対する予測精度が高くなることが期待できます

Answer 1

Cのパラメーターが何を意味していて

「LinearSVC」は、

サポートベクターマシン ソフトマージン

でググると解説記事がたくさん見つかるので、それの「ソフトマージン」の説明を見てください

「LogisticRegression」は、

ロジスティック回帰 正則化

でググると解説記事がたくさん見つかるので、それの「正則化」の説明を見てください

実行結果のグラフから何がわかる

グラフの「accuracy of test_data」の値が高くなる時の「C」の値を使うと、未知のデータに対する予測精度が高くなることが期待できます