SVMで決定境界線を引きたい(MNIST数字分類)

Question

#実現したいこと
MNISTの0から9までの数字を分類したのち、各数字がどのように線形分離されているか決定境界線を引いて見える化したい。
具体的には、2と8の二つの数字のみに対し、3次元で境界面、もしくは2次元で境界線を引きたい。

#背景
2と8の分類結果として誤認分類が多かったため、決定境界を可視化することで、2が8の領域、8が2の領域に存在していることを見える化する。

#試したこと
下記コードにて、3次元空間で0から9まで数値を可視化した。
この後、mixtendなどでいじってみたが、境界線を作るところが解決できなかった。

#環境
python3.8.5

import tensorflow as tf
import tensorflow.keras
import matplotlib.pyplot as plt
%matplotlib inline
from tensorflow.keras.datasets import mnist
import numpy as np


(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(60000, 784)
x_test = x_test.reshape(10000, 784)
x_train = (x_train / 255.0 * 0.99) + 0.01
x_test = (x_test / 255.0 * 0.99) + 0.01

from sklearn.model_selection import train_test_split
from sklearn import datasets, svm, metrics
from sklearn.metrics import accuracy_score

clf = svm.LinearSVC()
clf.fit(x_train, y_train)

y_pred = clf.predict(x_test)
print(accuracy_score(y_test, y_pred))

#ここから3次元空間でプロットへ
#下記4行追加修正しました
all_features = x_test
teacher_labels = y_test
from sklearn import decomposition
from mpl_toolkits.mplot3d import Axes3D

def getcolor(color):
    if color == 0:
        return "red"
    elif color == 1:
        return "blue"
    elif color == 2:
        return "yellow"
    elif color == 3:
        return "greenyellow"
    elif color == 4:
        return "green"
    elif color == 5:
        return "cyan"
    elif color == 6:
        return "blue"
    elif color == 7:
        return "navy"
    elif color == 8:
        return "purple"
    else:
        return "black"

#次元削減
pca = decomposition.PCA(n_components=3)
three_features = pca.fit_transform(all_features)

#描画
fig = plt.figure(figsize=(12,9))
subfig = fig.add_subplot(111, projection = "3d")
colors = list(map(getcolor, teacher_labels))
subfig.scatter(three_features[:, 0], three_features[:, 1], three_features[:,2], s=50, c=colors, alpha=0.3)
plt.show()

Comments

[toast-uz]

https://qiita.com/YoshikiMaruya/items/2b9c82a13453535774b6
を参照されているものと思いますが、微妙に実行可能ではないソースになっています。
（all_featuresが未定義である等）
実行可能なソースを提示ください。

[Poyoyo]

大変失礼いたしました。

下記4行をコピペミスしていました。下記4行を、「#ここから3次元空間でプロットへ」の直後に入れて修正しました。

all_features = x_test
teacher_labels = y_test

from sklearn import decomposition
from mpl_toolkits.mplot3d import Axes3D

--------------------
また、ご指摘いただいたリンク先は参照したことがなく、私は画像認識プログラミングレシピという書籍を参照して作りました。
とはいうものの、リンク先の三次元プロットとは類似の結果になるところまでは作れたのですが、決定境界が作れない状況です。

Answer 1

2と8に限定して、2次元で決定境界を描画してみました。いかがでしょうか？

参考: 【python】高次元の分離境界をなんとか2次元で見る

all_features以降のコードを示します。

all_features = x_test[(y_test == 2) | (y_test == 8)]
teacher_labels = y_test[(y_test == 2) | (y_test == 8)]
color = {2: 'blue', 8: 'red'}

from sklearn import decomposition
from mlxtend.plotting import plot_decision_regions

#次元削減
pca = decomposition.PCA(n_components=2)
features = pca.fit_transform(all_features)

#描画
colors = list(map(lambda x: color[x], teacher_labels))
X, Y = features[:, 0], features[:, 1]
plt.scatter(X, Y, c=colors, alpha=0.3)
#境界描画
grid = np.meshgrid(np.linspace(X.min(), X.max(), 100), np.linspace(Y.min(), Y.max(), 100))
Z = clf.predict(pca.inverse_transform(np.c_[grid[0].flatten(), grid[1].flatten()]))
plt.pcolormesh(grid[0], grid[1], Z.reshape(grid[0].shape), alpha=0.1, shading='gouraud')
plt.show()

Comments

[Poyoyo]

ありがとうございました。
私も環境でもmlxtendを入れて、上記内容で作ることができました。