sklearn.multiclass.OneVsRestClassifierの挙動について

Question

sklearn.multiclass.OneVsRestClassifierの挙動について

scikit-learnによる多クラスSVMを参考にSVCにおいて、One-versus-the-restとOne-versus-oneのどちらの戦略が良いかを実データをもとに知りました。
One-versus-the-restはOne-versus-oneと比較して計算時間が短い点において有効な戦略であるのかなぁ程度の理解だったので、精度に差がここまで出てくることが意外でした。
しかしながら、よく見てみると、
scikit-learnによる多クラスSVMに使用されているestimator = SVC(C=C, kernel=kernel, gamma=gamma)はdefalutでovrが使用されていると感じます(理由：sklearn.svm.SVCのデフォルトがdecision_function_shape='ovr')。

しかし、scikit-learnによる多クラスSVMによればdefalutはone-versus-the-oneによる識別と書かれてあり、この記述が正しければ、decision_function_shape='ovr'は何を意味しているのか、
逆にdecision_function_shape='ovr'が意味通りOne-versus-the-restを意味しているのであれば、以下のコード

estimator = SVC(C=C, kernel=kernel, gamma=gamma)
classifier = OneVsRestClassifier(estimator)
classifier.fit(train_x, train_y)
pred_y = classifier.predict(test_x)

によってovrに変換することによって精度が向上する理由は何を意味するのでしょうか？

詳しい方がいれば教えていただけると大変助かります。よろしくお願いいたします。

#追記
What is the difference between OneVsRestClassifier with SVC and SVC with decision_function_shape='ovr'?
上記のurlに軽く議論されています。

Answer 1

引数decision_function_shapeを"ovr"にするか"ovo"にするかで性能が変化することはありません。

However, one-vs-one (‘ovo’) is always used as multi-class strategy
sklearn.svm.SVC — scikit-learn 0.22.1 documentation

ということで、内部的には常にOne-Versus-Oneで計算されるからです。この引数が影響を与えるのはdecision_functionメソッドの表面的な結果に対してだけです。

よってsklearn.multiclass.OneVsRestClassifierを用いることで性能が上がる可能性は当然あります。

Comments

[yu__]

私もそうだと思い、
decision_function_shape='ovr'とわざわざ引数を設定し計算したのですが、精度に違いが出てしまいました。

from sklearn.datasets import load_digits
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

np.random.seed(0)
digits = load_digits()
train_x, test_x, train_y, test_y = train_test_split(digits.data, digits.target)

C = 1.
kernel = 'rbf'
gamma = 0.01

estimator = SVC(C=C, kernel=kernel, gamma=gamma,random_state=0, decision_function_shape='ovr')
classifier = OneVsRestClassifier(estimator)
classifier.fit(train_x, train_y)
pred_y = classifier.predict(test_x)

classifier2 = SVC(C=C, kernel=kernel, gamma=gamma,random_state=0, decision_function_shape='ovr')
classifier2.fit(train_x, train_y)
pred_y2 = classifier2.predict(test_x)

print('One-versus-the-rest: {:.5f}'.format(accuracy_score(test_y, pred_y)))
print('One-versus-one: {:.5f}'.format(accuracy_score(test_y, pred_y2)))

result
One-versus-the-rest: 0.93333
One-versus-one: 0.86000

やはり、何か違う計算をしているのではないかと考えるのは妥当なのかなと感じます。

[hayataka2049]

すみません、正確に質問と仕様を理解していなかったので、回答を書き換えました。

[hayataka2049]

理屈の上では違いはありますが、パラメータチューニングせずに良し悪しを云々するのは邪道なので、
import numpy as np
from sklearn.datasets import load_digits
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.metrics import accuracy_score

np.random.seed(0)
digits = load_digits()
train_x, test_x, train_y, test_y = train_test_split(digits.data, digits.target,
stratify=digits.target,
shuffle=True, random_state=0)

params = {"C":10*np.linspace(0.01, 0.5, 10),
"gamma":[10**x for x in range(-6, -2)]}

estimator = SVC(random_state=0, decision_function_shape="ovr")
classifier = OneVsRestClassifier(estimator)
classifier = GridSearchCV(classifier, {"estimator__" + k:v
for k, v in params.items()},
n_jobs=-1)
classifier.fit(train_x, train_y)
pred_y = classifier.predict(test_x)

print(classifier.best_params_)
print(classifier.cv_results_["mean_fit_time"].mean())
print('One-versus-the-rest: {:.5f}'.format(accuracy_score(test_y, pred_y)))

classifier2 = SVC(random_state=0, decision_function_shape='ovr')
classifier2 = GridSearchCV(classifier2, params, n_jobs=-1)
classifier2.fit(train_x, train_y)
pred_y2 = classifier2.predict(test_x)

print(classifier2.best_params_)
print(classifier2.cv_results_["mean_fit_time"].mean())
print('One-versus-one: {:.5f}'.format(accuracy_score(test_y, pred_y2)))

""" =>
{'estimator__C': 1.7333333333333334, 'estimator__gamma': 0.001}
0.3337974691390991
One-versus-the-rest: 0.99111
{'C': 0.6444444444444444, 'gamma': 0.001}
0.18513922929763793
One-versus-one: 0.98889

# 所見
その記事の設定はgamma大きすぎ。digitsなんてほとんど線形分離可能なのでごく小さいgammaでいい
精度の差は気のせいレベルなので（サンプル数を考えても意味はない）気にしないのが実践的態度
あとは時間差だが、今回はovoの方が速い。分離超平面が単純になるのでさっさと最適化できるとか、単にPythonで実装されてるOneVersusRestClassifierが遅くてlibsvm内部でやってるOVOの方が計算量は多くても速くなるとかそんな理由
いずれにせよ、今回のケースではあえてOneVersusRestClassifierを持ち出す価値は見いだせないという感想。もちろんケースバイケース
"""

[yu__]

何度も返信していただきありがとうございます！ベストアンサーにさせて頂きました！

パラメータチューニングせずに良し悪しを云々するのは邪道なので、というのは最もでした。ありがとうございます！

この引数が影響を与えるのはdecision_functionメソッドの表面的な結果に対してだけです。
という文章の表面的な結果とは何を意味しているか教えていただけると幸いです。