SVMの識別境界面を３次元で描画したい

Question

実現したいこと

SVMの識別境界面をdecision_functionの出力値を使って３次元空間に描画したい。
まずはlinearカーネルで正しく面ができることを確認した後、RBFカーネルでも曲面を作りたい。

前提

直接、識別関数の式を使って平面自体は描画することができた。
ただ、decision_functionの出力値が0になる位置＝境界面となることを利用して
描画を実行すると平面はできあがるが、位置がデータの分布に対してズレてしまう。
（decision_functionの出力値を使う理由はRBFで曲面を作りたいため。）

該当のソースコード

from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC

# irisデータセットの読み込み
iris = load_iris()

# 特徴量とクラスラベルの取得
X = iris.data
y = iris.target

# 3つの特徴量を使用
X = X[:, :3]
# クラス0と1のみにするために2を1に変換
y[y == 2] = 1

# データのスケーリング
scaler = StandardScaler()
X = scaler.fit_transform(X)

# SVMのRBFカーネルによる分類器の学習
clf = SVC(kernel='linear', gamma=1, C=1)
clf.fit(X, y)

# 3Dグラフの作成
fig = plt.figure(figsize=(8, 8))
ax = fig.add_subplot(111, projection='3d')

# データのプロット
ax.scatter(X[:, 0], X[:, 1], X[:, 2], c=y, cmap='bwr')

# 決定境界の作成
xx, yy = np.meshgrid(np.linspace(X[:, 0].min(), X[:, 0].max(), 50),
                     np.linspace(X[:, 1].min(), X[:, 1].max(), 50))
zz = - clf.decision_function(np.c_[xx.ravel(), yy.ravel(), np.zeros(xx.shape).ravel()])
zz = zz.reshape(xx.shape)

# 決定境界のプロット
ax.plot_surface(xx, yy, zz, alpha=0.5)

ax.set_xlabel('X Label')
ax.set_ylabel('Y Label')
ax.set_zlabel('Z Label')

plt.show()

試したこと

np.meshgridの領域を変更したが変化なし。
clf.decision_functionの符号を反転したが位置が変わることはなかった。

補足情報（FW/ツールのバージョンなど）

Python3.9
PyCharm 2022.2 (Community Edition)

Comments

[ps_aux_grep]

それもそのはず，clf.decision_functionの出力値は境界からの距離なのですから，Z座標値の分布とはズレます．この流れで三次元曲面を描画するには
distance = clf.desicion_funcition(x, y, z)
という現状の関数の逆(?)関数を導出して
z = desicion_function_inv(x, y, distance)
のように作ることになります．現状，zが0の場合の距離を描画しています．

[mato999]

ありがとうございます。
z = desicion_function_inv(x, y, distance)のdistanceには0が入るということになりますでしょうか？

[ps_aux_grep]

そうですね．
この逆関数を求めるのは現実的じゃないので，zの値を探索的に入力して曲面の点群を求めるのが良さそうです．

[mato999]

上記のコードで考えると、zの値を探索的に入力してclf.decision_functionが0になる点群を求めるということでしょうか？よろしくお願いします。

[ps_aux_grep]

はい，実際は0と完全に等しくなる点を探すのは無理かと思いますので，許容できる誤差まで納まったら，という条件にして探索すると良いでしょう．

[mato999]

ありがとうございます。なんとなくやり方のイメージができました。もう一度トライしてみます。

Answer 1

頂いたコメントの内容を実践したところ、期待していた曲面を描画することができました。
ありがとうございました。

全体のコードとしては以下のようにしました。
もし、改善点等がありましたらコメント頂ければと思います。

from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from scipy import interpolate
import itertools

# irisデータセットの読み込み
iris = load_iris()

# 特徴量とクラスラベルの取得
X = iris.data
y = iris.target

# 3つの特徴量を使用
X = X[:, :3]

# クラス0と1のみにするために2を1に変換
y[y == 2] = 1

# データのスケーリング
scaler = StandardScaler()
X = scaler.fit_transform(X)

# SVMのRBFカーネルによる分類器の学習
clf = SVC(kernel='rbf', gamma=1, C=100)
clf.fit(X, y)

# 3Dグラフの作成
fig = plt.figure(figsize=(8, 8))
ax = fig.add_subplot(111, projection='3d')

gridsize = 50

# 識別関数の出力値が0になる点群を探索するためのxyzグリッドデータを作成
xx_s, yy_s, zz_s = np.meshgrid(np.linspace(X[:, 0].min(), X[:, 0].max(), gridsize),
                               np.linspace(X[:, 1].min(), X[:, 1].max(), gridsize),
                               np.linspace(X[:, 2].min(), X[:, 2].max(), gridsize))

# 識別関数の出力値が0になるときの座標データ格納用
points_x, points_y, points_z = [], [], []

# グリッドデータ点毎に探索
r_iter = itertools.product(range(xx_s.shape[0]), repeat=3)
for i, j, k in r_iter:
    dec_val = clf.decision_function(np.array([xx_s[i, j, k], yy_s[i, j, k], zz_s[i, j, k]]).reshape(1, -1))
    # 0になる条件を決めてxx_s, yy_s, zz_sの値を格納
    if -1e-3 <= dec_val <= 1e-3:
        points_x.append(xx_s[i, j, k])
        points_y.append(yy_s[i, j, k])
        points_z.append(zz_s[i, j, k])
arr = np.array([np.array(points_x), np.array(points_y), np.array(points_z)]).T

# 描画用のxyグリッドデータを作成
xx, yy = np.meshgrid(np.linspace(X[:, 0].min(), X[:, 0].max(), gridsize),
                     np.linspace(X[:, 0].min(), X[:, 0].max(), gridsize))

# 識別境界を描画するために座標間のデータを補間
Z = interpolate.griddata(arr[:, 0:2], arr[:, 2], (xx, yy), method="cubic")

# 学習データと識別境界を描画
ax.scatter(X[:, 0], X[:, 1], X[:, 2], c=y, cmap='bwr')
ax.plot_wireframe(xx, yy, Z, alpha=0.5)

ax.set_xlabel('X Label')
ax.set_ylabel('Y Label')
ax.set_zlabel('Z Label')

plt.show()