pythonの混合ガウス分布での等高線の描画方法について

Question

pythonで混合ガウス分布の等高線の描画方法を教えて下さい

アヤメデータから作成した散布図上に
混合ガウス分布を使用した等高線を表示したいのですが、
次元数やデータ数が一致しない旨のエラーが発生しています。
対処法、アドバイスなどご教授頂けないでしょうか？

発生している問題・エラーメッセージ

ValueError                                Traceback (most recent call last)
<ipython-input-160-ebd3abcac2b9> in <module>
     14 x, y = np.meshgrid(np.linspace(-10, 10, 100), np.linspace(-10, 10, 100))
     15 X = np.array([x, y]).reshape(2, -1).transpose()
---> 16 probs = model.predict_proba(X)
     17 Probs = probs.reshape(100, 100)
     18 colors = ["red", "blue", "green"]

C:\ProgramData\Anaconda3\lib\site-packages\sklearn\mixture\base.py in predict_proba(self, X)
    393         """
    394         self._check_is_fitted()
--> 395         X = _check_X(X, None, self.means_.shape[1])
    396         _, log_resp = self._estimate_log_prob_resp(X)
    397         return np.exp(log_resp)

C:\ProgramData\Anaconda3\lib\site-packages\sklearn\mixture\base.py in _check_X(X, n_components, n_features, ensure_min_samples)
     61         raise ValueError("Expected the input data X have %d features, "
     62                          "but got %d features"
---> 63                          % (n_features, X.shape[1]))
     64     return X
     65 

ValueError: Expected the input data X have 4 features, but got 2 features

該当のソースコード

from sklearn.mixture import GaussianMixture
from sklearn.datasets import load_iris
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

data = load_iris()

#ガウス分布の数
n_components = 3

model = GaussianMixture(n_components=n_components)
model.fit(data.data)

#グリッド作成
x, y = np.meshgrid(np.linspace(-10, 10, 100), np.linspace(-10, 10, 100))
X = np.array([x, y]).reshape(2, -1).transpose()

probs = model.predict_proba(X)
Probs = probs.reshape(100, 100)
colors = ["red", "blue", "green"]
plt.scatter(X[:, 0], X[:, 1])
plt.contour(x, y, Probs)
plt.xlim(-10, 10)
plt.ylim(-10, 10)
plt.show()

試したこと

下記の様にreshape部分を書き換えると上記エラーは脱しますが、
代わりに別のエラー(データ数不一致？)が発生してしまいました。
変更前：X = np.array([x, y]).reshape(2, -1).transpose()
変更後：X = np.array([x, y]).reshape(4, -1).transpose()

変更後のエラーメッセージ：

ValueError                                Traceback (most recent call last)
<ipython-input-165-d6d42af485ca> in <module>
     18 
     19 probs = model.predict_proba(X)
---> 20 Probs = probs.reshape(100, 100)
     21 colors = ["red", "blue", "green"]
     22 plt.scatter(X[:, 0], X[:, 1])

ValueError: cannot reshape array of size 15000 into shape (100,100)

Comments

[8524ba23]

そのグラフの縦軸、横軸、色の値はそれぞれ何になりますか（がくの長さ長さなど）？
また、散布図のみでしたら描画できますか？

Answer 1

そもそもなのですが、散布図を描くためには４つの特徴量のうち２つを選ぶ必要があるのではないしょうか？
同様にガウス混合分類器も４つではなく２つの特徴量で訓練する必要があるかと思います。

以下sepal length (cm)とsepal width (cm)で散布図と等高線図を描く例です。

from sklearn.mixture import GaussianMixture
from sklearn.datasets import load_iris
import numpy as np
import matplotlib.pyplot as plt

data = load_iris()
N_CLASS = len(data.target_names) # 3
LEN_CLASS = len(data.target) // N_CLASS # 50

vx,vy = 0,1 # 対象の２変数
x_min, x_max = min(data.data[:,vx]), max(data.data[:,vx])
y_min, y_max = min(data.data[:,vy]), max(data.data[:,vy])

# ２変数で散布図を描画
cs = []
for c in 'rgb':
    cs += list(c*LEN_CLASS)
plt.scatter(data.data[:,vx], data.data[:,vy], c=cs)
plt.xlabel(data.feature_names[vx])
plt.ylabel(data.feature_names[vy])
plt.xlim(x_min, x_max)
plt.ylim(y_min, y_max)

# 散布図に合わせた２変数で訓練
model = GaussianMixture(n_components=N_CLASS, random_state=3)
model.fit(data.data[:,[vx,vy]])

# 存在する範囲内で点群を生成
N = 100
x, y = np.meshgrid(np.linspace(x_min,x_max,N), np.linspace(y_min,y_max,N))
X = np.array([x, y]).reshape(2, -1).T
probs = model.predict_proba(X)

# 等高線図を各クラス毎に描画
cs = ['Reds', 'Greens', 'Blues'] # 散布図の色とは必ずしも対応しないことに注意
assert len(cs) == N_CLASS
for i in range(N_CLASS):
    plt.contourf(x, y, probs[:,i].reshape(N,N), cmap=cs[i], alpha=0.2)
    plt.xlim(x_min, x_max)
    plt.ylim(y_min, y_max)
plt.show()

Comments

[Kosuke-Yanai]

詳細に返答いただきありがとうございました。
ご指摘通り、散布図にする際に変数を2つに絞る必要がありました。
散布図とは別に等高線図を作成し、それらを重ねるイメージなのですね。
非常に参考になりました。

Answer 2

numpyのreshapeの引数は一つ目が行方向で二つめが列方向です。

plt.scatter(X[:, 0], X[:, 1])

この書き方から期待しているreshape後のデータの形状は列方向にxとyが並んだ状態と推測してますが合ってますか？

解決策としては以下でどうでしょうか？

From

X = np.array([x, y]).reshape(2, -1).transpose()

To

X = np.array([x, y]).reshape(-1, 2).transpose()

Comments

[Kosuke-Yanai]

返答いただきありがとうございました。
reshape後のX,yのデータの並びはご推察通り、列方向に並んでいます。

エラーの原因としては、散布図描画のために2つの変数に絞っていなかったためでした。
ご教授頂いた対処方法を試してもエラーは解消には至りませんでしたが、
データ並びを変えるというアプローチが実践でき、大変参考になりました。