【Scikit-learnのdigitsデータセット分類タスク】K最近傍法アルゴリズムの認識精度に関する質問

Question

K最近傍法アルゴリズムの認識精度について

Scikit-learnのdigitsデータセットについて、不均衡データの認識精度の検証を行うためラベルを「8」「8以外」の2値分類となるよう貼り替え、各種モデルのテストデータセットに対する認識精度を測定したところ、K最近傍法アルゴリズムが異常に高い認識精度だったので、原因が分かる方がいれば回答お願い致します。

ソースコード

訓練データ・テストデータの作成

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split

digits = load_digits()
# ラベルを「8である」「8でない」に貼り替える
y = digits.target == 8

X_train, X_test, y_train, y_test = train_test_split(
    digits.data, y, random_state=42, stratify=y)

ダミー分類器

from sklearn.dummy import DummyClassifier
dummy_clf = DummyClassifier(strategy='most_frequent').fit(X_train, y_train)
pred_dummy = dummy_clf.predict(X_test)
print('test accuracy:', dummy_clf.score(X_test, y_test))

test accuracy: 0.9022222222222223

K最近傍法

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV

param_grid = [{'n_neighbors': [1, 3, 5, 7, 9]}]

grid_search = GridSearchCV(KNeighborsClassifier(), param_grid, cv=5)
grid_search.fit(X_train, y_train)
print(f"Best parameters: {grid_search.best_params_}")
print(f"Best validation score {grid_search.best_score_}")

knn_clf = grid_search.best_estimator_
print('test accuracy:', knn_clf.score(X_test, y_test))

Best parameters: {'n_neighbors': 1}
Best validation score 0.9948032665181886
test accuracy: 0.9933333333333333

決定木

from sklearn.tree import DecisionTreeClassifier

param_grid = [{'max_depth': [1, 3, 5, 7, 9]}]

grid_search = GridSearchCV(DecisionTreeClassifier(random_state=42), param_grid, cv=5)
grid_search.fit(X_train, y_train)
print(f"Best parameters: {grid_search.best_params_}")
print(f"Best validation score {grid_search.best_score_}")

tree_clf = grid_search.best_estimator_
print('test accuracy:', tree_clf.score(X_test, y_test))

Best parameters: {'max_depth': 5}
Best validation score 0.9465478841870824
test accuracy: 0.94

ロジスティック回帰

from sklearn.linear_model import LogisticRegression

param_grid = [{'C': [0.001, 0.01, 0.1, 1, 10]}]

grid_search = GridSearchCV(LogisticRegression(random_state=42, solver='lbfgs', max_iter=10000), param_grid, cv=5)
grid_search.fit(X_train, y_train)
print(f"Best parameters: {grid_search.best_params_}")
print(f"Best validation score {grid_search.best_score_}")

logreg_clf = grid_search.best_estimator_
print('test accuracy:', logreg_clf.score(X_test, y_test))

est parameters: {'C': 0.01}
Best validation score 0.9665924276169265
test accuracy: 0.9644444444444444

ランダムフォレスト

from sklearn.ensemble import RandomForestClassifier

forest_clf = RandomForestClassifier(n_estimators=400, random_state=42)
forest_clf.fit(X_train, y_train)

print('test accuracy:', forest_clf.score(X_test, y_test))

test accuracy: 0.9688888888888889

追記

t-SNE（多様体学習）により訓練データを2次元表現に変換し可視化。rbfカーネルのSVMによる認識精度を測った所、KNNに近い精度が確認できました。

t-SNEによる変換と可視化

from sklearn.manifold import TSNE
import matplotlib.pyplot as plt

tsne = TSNE(random_state=42)
X_train_tsne = tsne.fit_transform(X_train)

plt.scatter(X_train_tsne[:, 0], X_train_tsne[:, 1], c=y_train)

SVC

from sklearn.svm import SVC

param_grid = [{'kernel': ['rbf'],
               'C': [0.001, 0.01, 0.1, 1, 10, 100],
               'gamma': [0.001, 0.01, 0.1, 1, 10, 100]},
              {'kernel': ['linear'],
               'C': [0.001, 0.01, 0.1, 1, 10, 100]}]

grid_search = GridSearchCV(SVC(random_state=42), param_grid, cv=5)
grid_search.fit(X_train, y_train)
print(f"Best parameters: {grid_search.best_params_}")
print(f"Best validation score {grid_search.best_score_}")

svc_clf = grid_search.best_estimator_
pred_svc = svc_clf.predict(X_test)
print('test accuracy:', svc_clf.score(X_test, y_test))

Best parameters: {'C': 10, 'gamma': 0.001, 'kernel': 'rbf'}
Best validation score 0.9910913140311804
test accuracy: 0.9844444444444445

Answer 1

ベースライン的な手法が意外と良い性能出しちゃって、（アピールするつもりだった新手法がかすんで見えるので）困る・・・というのはこの分野、よくある話です。

digitsは割ときれいなデータですので、KNNのようなものが威力を発揮しやすいのでしょう。世の中にはdigitsほどきれいなデータは少ない、ということは留意しておくべきです。

Comments

[datascientist_s]

回答ありがとうございます。

n_neighbors=1のKNNで過学習を起こさず99%の精度が出る時点で、ほぼ全てのテストデータの最近傍点が同一クラスということですもんね。
このような綺麗なデータセットに対してKNNが威力を発揮するのはある意味当然の結果だと思うのですが、そのような綺麗なデータセットに対しては他のアルゴリズムも同等に高精度となると想定していたので意外でした。（おおよその精度を見ることが目的なのでハイパーパラメータの選択はかなり雑ですが）

[hayataka2049]

ロジスティック回帰は線形分離可能でなければ有効に働きませんし、決定木系は軸と垂直な分離境界しか引けないので意外とだめなときがあるのです。また、不均衡データに耐性がない手法だと、クラスの重みを考慮しないで使えば不利です（KNNはある意味関係ない）。
ちなみに、こういうケースだと正解率よりはf1のマクロ平均などで評価するべきです。

[datascientist_s]

回答ありがとうございます。
rbfカーネルを使ったSVMでは近い精度が出たので、高次でも線形分離可能でない部分があることが影響してそうですね。改めて各種アルゴリズムについて実践的な理解が必要なことを認識致しました。

「不均衡データを精度で評価してはいけない」っていうことを確認するためにまず精度だけだしてみた所KNNの精度がやたら高い・・・と思って質問させて頂いた次第なのでf1のマクロ平均等については存じております。

こちらでベストアンサーとさせて頂きます。