サポートベクターマシンでの過学習を低減させる方法は？

Question

pythonでサポートベクターマシンを用いた分別の機械学習をしています。
サポートベクターマシンで過学習を低減させる方法はあるのでしょうか？

ニューラルネットワークなどの過学習を低減させるときに「ドロップアウト」を入れています。
ドロップアウトのようなものは、サポートベクターマシンにはないのでしょうか？

この辺、お詳しい方、ご指導頂ければありがたいです。
よろしくお願いいたします。

Answer 1

サポートベクターマシンで過学習を低減させる方法はあるのでしょうか？

• データが少ない場合は増やす。
• 特徴量の次元数が多いなら、線形カーネルを使用する。(sklearn.svm.LinearSVC)
• 誤差項のペナルティ C の値を小さい値にする。

パラメータの調整は GridSearchCV を使うとよいでしょう。

scikit-learnのGridSearchCVでハイパーパラメータ探索 - Qiita

追記

GridSearchCVは、使えるレベルに至っておりませんので、とりあえず、手動でいろいろ値を変化させてみようと思います。

試行するパラメータを設定して、GridSearchCV オブジェクトを作成し、あとは通常と同じように fit() を呼び出すだけなので、簡単に使えますよ。
以下にサンプルコードを載せておきます。

import pandas as pd
from sklearn.datasets import load_iris
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.svm import SVC

# データセットを準備する。
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.15, stratify=y, random_state=0
)

# 試行するパラメータとその値
params = {"kernel": ["linear", "rbf"], "C": [0.01, 0.1, 1, 10, 100, 1000]}

# グリッドサーチする。
base_model = SVC(gamma="scale")
clf = GridSearchCV(base_model, params, cv=5, return_train_score=False, iid=False)
clf.fit(X_train, y_train)

# 最も精度がいいモデルを取得する。
best_clf = clf.best_estimator_
print("score: {:.2%}".format(best_clf.score(X_test, y_test)))  # score: 100.00%
print(clf.best_params_)  # {'C': 1, 'kernel': 'linear'}

Comments

[python_2019]

ご連絡ありがとうございます。

誤差項のペナルティ C の値ですが、一般的にどの程度にすればよいのでしょうか？
ケースによって異なるとは思いますが、もし、ご経験から数値が分かればありがたいです。

よろしくお願いいたします。

[tiitoi]

データによるので、GridSearchCV を使って、[0.1, 1, 10, 100, 1000] あたりで最適な値を探してください。

[python_2019]

ご連絡ありがとうございます。
GridSearchCVは、使えるレベルに至っておりませんので、とりあえず、手動でいろいろ値を変化させてみようと思います。

[tiitoi]

GridSearchCV のサンプルコードを追記しました。

[python_2019]

ご連絡ありがとうございます。
ご丁寧にサンプルコードまで掲載頂きまして助かります。
一度、試してみたいと思います。

Answer 2

こちらがヒントになるかもしれません。

SVM(RBFカーネル)のハイパーパラメータを変えると何が起こるの? - Qiita

Cは誤分類を許容する度合いに関するパラメータで、小さいほど汎化性能が上がりやすくなります。また、分離境界の複雑性に関するパラメータも大抵のカーネルでは設定することができ、RBFカーネルならgammaが相当します。

Comments

[python_2019]

ご連絡ありがとうございます。
初心者の私には、簡潔で分かりやすかったです。

追加で質問させてください。

掲載頂いたリンク先では、「Cが小さいほど誤分類を許容する」と記載されています。
また、コメントいただいた内容では、「Ｃが小さいほど汎化性能が上がりやすくなります」
とのことですが、これらをそのまま理解しますと、
「誤分類」と「汎用性能」は互いに相反する傾向である、という解釈で良いのでしょうか？
そうしますと、Ｃパラメータは、とにかく小さくすればよいので、極端な話（設定できるかどうか不明ですが）「Ｃ＝０」にしてしまえば、最高の汎用性能を得られるように思います。
汎用性能が高いものが、結局は実用化に求められる性能になると思われますので、
「Ｃ＝１０、１００、１０００」等を設定して試す意義が分からなくなってしまいました。。

恐らく私の知識不足による誤った解釈かと思われますので、誤りなどご指導頂ければありがたいです。
よろしくお願いいたします。

[hayataka2049]

実際に試してみたり、underfittingとoverfittingの間のバランスについて調べたりしてみてください。

[python_2019]

ありがとうございます。
実際にいろいろ試して、勉強したいと思います。