クラスタごとにプロットしたい。

Question

前提・実現したいこと

K平均法を実装しようとしています。
xとyの2次元の30個のデータをクラスタリングしたいと思っています。
データはエクセエルを読み込みます。
クラスタ数は2と3をやりたいです。

発生している問題・エラーメッセージ

なんとなくプログラムを書いて、クラスタ数が2の時はクラスタリングできたのかなと思います。
各クラスタで色を変えて散布図を作成する方法を教えていただきたいです。
どこにどんな文を加えれば良いのか教えてください。
また、クラスタ数を3に変えた時に、以下のエラーが発生しました。

---> d = sum([x*x for x in point-center[i]])
IndexError: index 2 is out of bounds for axis 0 with size 2

該当のソースコード

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import xlrd
from pandas import Series, DataFrame
from numpy.random import randint
from PIL import Image
from numpy.random import normal
from matplotlib import pyplot

xlsFile="data_1.xlsx"
sheetName="data1"
data1=pd.read_excel(xlsFile,sheet_name=sheetName)

clus = [2]  #クラスタの数

# k平均法による処理
def run_kmeans(pixels, k):
    cls =[0]* len(pixels)

    # 代表点の初期値を設定
    center1 = [[10,0],[0,10]]
    center=np.array(center1)
    print ("Initial centers:")
    print ("========================")
    distortion = 0.0

    # 最大50回のIterationを実施
    for iter_num in range(50): 
        center_new= []
        for i in range(k):
            center_new.append(np.array([0.0,0.0]))
            num_points = [0] * k
        distortion_new = 0.0

        # E Phase: 各データが属するグループ（代表点）を計算
        for pix, point in enumerate(pixels):
            min_dist = 256*256*3
            point = np.array(point)
            for i in range(k):
                d = sum([x*x for x in point-center[i]])
                if d < min_dist:
                    min_dist = d
                    cls[pix] = i
            center_new[cls[pix]] += point
            num_points[cls[pix]] += 1
            distortion_new += min_dist

        # M Phase: 新しい代表点を計算
        for i in range(k):
            center_new[i] = center_new[i] // num_points[i]
        center = center_new
        print (list(map(lambda x: x.tolist(), center)))
        print ("Distortion: J=%d" % distortion_new)

        # Distortion(J)の変化が0.1%未満になったら終了
        if iter_num > 0 and distortion - distortion_new < distortion * 0.001:
            break
        distortion = distortion_new
        
        for i in range(k):
            labels=point
            print(labels)
            x=labels[:,0]
            y=labels[:,1]
            plt.scatter(x,y)
            
        df=pd.DataFrame(center)
        plt.scatter(df[0], df[1])

        plt.show()
        
    return pixels

# Main
if __name__ == '__main__':
    for k in clus:
        print ("")
        print ("========================")
        print ("Number of clusters: K=%d" % k)
        pixels1 = data1
        pixels=np.array(pixels1)
        run_kmeans(pixels, k)

試したこと

x=pixels[:,0]
y=pixels[:,1]
plt.scatter(x,y)
をplt.show()の前において、なんとなくクラスタリングできていることを確認しました。
代表点と各クラスタの推移の散布図を作成できればいいと思います。

補足情報（FW/ツールのバージョンなど）

python3
jupyter notebook

Comments

[hayataka2049]

そのコードだとMainでpixelsがundefined nameになりますかね・・・あとkmeansを自分で書かないといけない制約でもあるのでしょうか。特にこだわる必要がなければsklearn等使った方が楽でバグが入りづらいです

Answer 1

とり合えずでよければ、run_kmeans関数の最後にて

plt.scatter(pixels[:,0], pixels[:,1], c=cls)

を行うと散布図を描画できるかと思います。

もとのコードを修正すると以下のようになります。

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import xlrd
from pandas import Series, DataFrame
from numpy.random import randint
from PIL import Image
from numpy.random import normal
from matplotlib import pyplot

xlsFile="data_1.xlsx"
sheetName="data1"
data1=pd.read_excel(xlsFile,sheet_name=sheetName)

clus = [2]  #クラスタの数

# k平均法による処理
def run_kmeans(pixels, k):
    cls =[0]* len(pixels)

    # 代表点の初期値を設定
    center1 = [[10,0],[0,10]]
    center=np.array(center1)
    print ("Initial centers:")
    print ("========================")
    distortion = 0.0

    # 最大50回のIterationを実施
    for iter_num in range(50): 
        center_new= []
        for i in range(k):
            center_new.append(np.array([0.0,0.0]))
            num_points = [0] * k
        distortion_new = 0.0

        # E Phase: 各データが属するグループ（代表点）を計算
        for pix, point in enumerate(pixels):
            min_dist = 256*256*3
            point = np.array(point)
            for i in range(k):
                d = sum([x*x for x in point-center[i]])
                if d < min_dist:
                    min_dist = d
                    cls[pix] = i
            center_new[cls[pix]] += point
            num_points[cls[pix]] += 1
            distortion_new += min_dist

        # M Phase: 新しい代表点を計算
        for i in range(k):
            center_new[i] = center_new[i] // num_points[i]
        center = center_new
        print (list(map(lambda x: x.tolist(), center)))
        print ("Distortion: J=%d" % distortion_new)

        # Distortion(J)の変化が0.1%未満になったら終了
        if iter_num > 0 and distortion - distortion_new < distortion * 0.001:
            break
        distortion = distortion_new

    # 散布図を描写
    plt.scatter(pixels[:,0], pixels[:,1], c=cls, cmap='jet')
    plt.show()

    return pixels

# Main
if __name__ == '__main__':
    for k in clus:
        print ("")
        print ("========================")
        print ("Number of clusters: K=%d" % k)
        pixels1 = data1
        pixels=np.array(pixels1)
        run_kmeans(pixels, k)

Comments

[退会済みユーザー]

ありがとうございます！できました。ただ、clus=[3]にすると、まだやはりエラーが出てしまうのは、わかるでしょうか…

[magichan]

center1 = [[10,0],[0,10]]
の箇所にてPositionデータを固定で２つだけ作成しているのが原因かと思います．

[退会済みユーザー]

本当にありがとうございます。完成させることができました。感謝いたします。