pythonで、kmeansを実装したいです

Question

pythonで、kmeansを実装したいのですが、予想外の結果が出てきて驚いています。
コードを以下に示します。

import numpy as np
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
%matplotlib inline

iris=load_iris()
data=iris.data
label=iris.target
plt.scatter(data[:,0],data[:,1],c=label)

def culc_dist(target_data,centroid):#距離の計算
    dist_holder=(target_data-centroid)**2
    distance=np.sqrt(np.sum(dist_holder,axis=1))
    n_cluster=np.argmin(distance)
    dist=distance[n_cluster]
    return n_cluster,dist
    
class kmeans:
    def __init__(self,K,max_iter=100):#クラスターの数と、最大学習回数の初期化関数
        if K < 2 or not(isinstance(K,int)):#Kは、学習回数2以上でかつ整数
          raise ValueError("クラスター数に不適切な値が入力されています")
        else:
          self.K=K

        if not(isinstance(max_iter,int)):#学習回数は、整数
          raise ValueError("学習回数に不適切な値が入力されています。")
        else:
          self.max_iter=max_iter
    
    def fit(self, X, y=None):#学習データのセット関数
        self.X=X
        self.y=np.zeros(self.X.shape[0])
        self.n_feature=X.shape[1]
        self.centroids=np.random.uniform(0 , 1 , (self.K , self.n_feature))
        self.new_centroids=np.random.uniform(0 , 1 , (self.K , self.n_feature))
        self.SSE=0

    def cluster_learn(self):#学習開始関数
        for iter in range(self.max_iter):#学習回数分ループ
            for data_index in range(self.X.shape[0]):#データの個数分ループ
                n_cluster,dist=culc_dist(self.X[data_index],self.centroids)
                self.y[data_index]=n_cluster
                self.SSE+=dist
            for label_num in range(self.K):#クラスター数分ループ
                k_mask=(self.y==label_num)
                masking_data=self.X[k_mask]
                for feature in range(masking_data.shape[1]):#データの数分ループ
                    self.new_centroids[label_num][feature]=np.average(masking_data[:,feature])
            if (self.centroids==self.new_centroids).any():
                return self.centroids,self.y,self.SSE
            else:
                self.centroids=self.new_centroids
        return  self.centroids,self.y,self.SSE

a=kmeans(3)
a.fit(iris.data)
a.cluster_learn()

実行結果がこちらです。

(array([[5.84333333, 3.05733333, 3.758     , 1.19933333],
        [       nan,        nan,        nan,        nan],
        [       nan,        nan,        nan,        nan]]),
 array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]),
 nan)

なぜか、クラスターがちゃんと保存されません。
おそらくcentroidから各データまでの距離の計算がおかしいんだと思いますが、どこが間違っているのかわかりません。
また、何回か実行するときちんとクラスタリングされるタイミングがあるのですが、それもなぜかわかりません。
こちらがそのうまくった例です。

(array([[4.65714286, 2.62857143, 2.1       , 0.55714286],
        [6.30103093, 2.88659794, 4.95876289, 1.69587629],
        [5.05869565, 3.4826087 , 1.47826087, 0.25      ]]),
 array([2., 2., 2., 2., 2., 2., 2., 2., 0., 2., 2., 2., 2., 0., 2., 2., 2.,
        2., 2., 2., 2., 2., 2., 2., 2., 2., 2., 2., 2., 2., 2., 2., 2., 2.,
        2., 2., 2., 2., 0., 2., 2., 0., 2., 2., 2., 2., 2., 2., 2., 2., 1.,
        1., 1., 1., 1., 1., 1., 0., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
        1., 1., 1., 1., 1., 1., 1., 1., 0., 1., 1., 1., 1., 0., 1., 1., 1.,
        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.]),
 1167.5006234945204)

どうすればいいでしょうか。
よろしくお願いいたします。

Comments

[aokikenichi]

すみません、なぜこうなってるかは詳しく見てみないと分からないのですが

scikit-learnにKMeansのライブラリがありますが、実装の勉強をなさっているということでしょうか
c.f. https://qiita.com/maskot1977/items/34158d044711231c4292

>なぜか、クラスターがちゃんと保存されません。
これは乱数を使っているからです。
>np.random.uniform
等

乱数は毎回結果が異なります。再現させたいの出れば
np.random.seed(123)
とseedを指定するとよろしいです。

[isonodayodayo]

回答が遅れました。申し訳ありません。

質問ありがとうございます。
おっしゃる通りです。実装の勉強をしています。
ご丁寧にURLまで、ありがとうございます！！！
参考にさせていただきます！

random.seed()に関してですが、randomを実装している場面に書いてみましたが、うまくいきませんでした。
学習中に何か問題があるのでしょうか？

[aokikenichi]

あなたのコードの中にて、例えば下記のように書きますと、
出力が固定されています
デバッグのときは出力が変わると追いにくいのでまずはここから固めるとよろしいかと思います。
kmeansについては実装したことがないのでもう少しコードを詳しく見て何かわかればお伝えいたします。

（略）

iris=load_iris()
data=iris.data
label=iris.target
plt.scatter(data[:,0],data[:,1],c=label)

np.random.seed(123)

（略）

[isonodayodayo]

ありがとうございます！
ランダムで値を生成するコードの直前に、seed値の設定を追加しました。
値を追ってみたいと思います。

Answer 1

こんにちは。
解決に至りましたので、解決方法を示します。
まず、centroidsの初期化の方法ですが、random.uniform(01)で生成していましたが、そもそもiris datasets のデータの範囲が、（がくの長さの範囲は）約4.37くらいの幅だったので、centroidsが近すぎたため、いちばん近い点が、一つになってしまったのだと思われます。うまくいったやつは、おそらく奇跡的に三つの点がばらけて配置されたことによるものだったのでしょう。

そこで、初期化の方法を無理やりばらけさせるようにしました。
該当のコードがこちらです。

for feature_index in range(self.n_feature):
            data_range=np.max(data[:,feature_index])-np.min(data[:,feature_index])
            data_width=data_range/self.K
            data_min=np.min(data[:,feature_index])
            data_max=data_width+data_min
            for cent_index in range(len(self.centroids)):
                np.random.seed(123)
                self.centroids[cent_index,feature_index]=np.random.uniform(data_min,data_max)
                data_min+=data_width
                data_max+=data_width

各特徴の最大最小から、データの範囲を求め、その範囲をクラスターの数で割り、最小からデータの範囲分の間からランダムで生成、その後、データの範囲を最大と最小に足し合わせ、無理やり近すぎないように配置しました。

調べてみたところ、sklearnのライブラリのKMeansでは、kmeans++と呼ばれる手法を使っていたそうです（データ点をランダムに選択、それ自身の座標をcentroidsにするそうです？）

また、質問の際に記述したコードですが、SSE（sum of squere errors)の求めかたが一部違っていました。
おそらくこれが正しいと思います。

def culc_dist(target_data,centroid):#距離の計算
    dist_holder=(target_data-centroid)**2
    distance=np.sqrt(np.sum(dist_holder,axis=1))
    n_cluster=np.argmin(distance)
    SSE=np.sum((target_data-centroid)[n_cluster]**2)
    return n_cluster,SSE

この関数は、データから、centroidの距離を求め、最小の距離を選択、のちにSSEを返す関数です。

どなたか参考にされる場合は、こちらを理解した上で実装することをお勧めします。
また、より良い方法がありましたら、教えてくださると幸いです。

ありがとうございました。