クラスタリングで'list index out of range'エラー

Question

前提・実現したいこと

Kaggleの'New York City Airbnb Open Data'で
クラスタリングを試みたのですが、以下のエラーが起きて
描画がぐちゃぐちゃになってしまいました。

発生している問題・エラーメッセージ

IndexError                                Traceback (most recent call last)
<ipython-input-23-b90848bd8445> in <module>
      5 colors = ['blue', 'red', 'green']
      6 for i, data in data_sub.groupby('cluster'):
----> 7     ax = data.plot.scatter(x='feature1', y='feature2', color=colors[i],
      8                           label=f'cluster{i}', ax=ax)

IndexError: list index out of range

該当のソースコード

#データの絞り込み
data_sub = data[['latitude', 'longitude', 'price', 'minimum_nights', 'number_of_reviews',
                 'reviews_per_month', 'calculated_host_listings_count', 'availability_365']]

#Initialise KMeans class
kmeans = KMeans(init='random', n_clusters=3)

#calculate the centroid of clusters
kmeans.fit(data_sub)

#predict clustering number
y_pred = kmeans.predict(data_sub)

data_sub.columns = ['feature1', 'feature2', 'feature3', 'feature4', 'feature5', 'feature6',
                    'feature7', 'cluster']

ax = None
colors = ['blue', 'red', 'green']
for i, data in data_sub.groupby('cluster'):
    ax = data.plot.scatter(x='feature1', y='feature2', color=colors[i],
                          label=f'cluster{i}', ax=ax)

要素の数とアクセスしたい数があっていないのが原因だと思うのですが、
その場合はxとyをいじればいいのか、
よく解決方法がわかりません。
何卒ご教示のほど、宜しくお願い致します。

Comments

[LouiS0616]

とりあえず色数を増やしてみては？

[meg_]

'cluster'はいくつ（何種類）あるのですか？

[Pablito]

>LouiS0616さん
質問ありがとうございます。
色数を増やしても同様のエラーが起きてしまいました。

>meg_さん
質問ありがとうございます。
clusterは６個あります。

Answer 1

data_sub.columns = ['feature1', 'feature2', 'feature3', 'feature4', 'feature5', 'feature6',
                    'feature7', 'cluster']

列名を変えてもあまり意味はありません。まず必要な操作は、クラスタリングで得たy_predをデータフレームに追加することになります。

data_sub_result = data_sub.copy()
data_sub_result.columns = ['feature1', 'feature2', 'feature3', 'feature4', 'feature5', 'feature6', 'feature7', 'feature8']
data_sub_result['cluster'] = y_pred

あとは基本的には同様にできるかと。

Comments

[Pablito]

ご回答ありがとうございます。
やってみたのですが、カラムにない'cluster'を使ったことで
KeyError: 'cluster'出てしまいました。
'feature8'と書き換えても同様のエラーが起きてしまいます。
この場合はどのように対処すればよいでしょうか？

[hayataka2049]

私の回答の方法ではdata_sub_resultにclusterというカラムができるはずです。

[Pablito]

失礼致しました。
実行したところ
---------------------------------------------------------------------------
IndexError Traceback (most recent call last)
<ipython-input-22-93c9572cfadb> in <module>
6 colors = ['blue', 'red', 'green', 'purple', 'white', 'orange']
7 for i, data in data_sub.groupby('cluster'):
----> 8 ax = data.plot.scatter(x='feature1', y='feature2', color=colors[i],
9 label=f'cluster{i}', ax=ax)

IndexError: list index out of range
というエラーが起きてしまいました、、、

[hayataka2049]

iの値を確認してみるといいのでは。あと、clusterってなんですか？