python K-meansクラスタリングのエラー ※ご教示お願い致します。

Question

概要

シミュレーションデータの元データからある条件以上を抽出し←「こちらは完了している」

そのデータをクラスタリングして訪問先の抽出を行おうとしているのですがここでエラーが起きてしまいました

実現したいこと

正しいデータを導き出したい

発生している問題・エラーメッセージ

エラーメッセージ


C:\datasyori>python hoge.py
    latitude   longitude
0  35.693590  139.712202
1  35.693497  139.712096
2  35.693217  139.712261
3  35.693549  139.712430
4  35.693621  139.712501
Traceback (most recent call last):
  File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 769, in _validate_tuple_indexer
    self._validate_key(k, i)
  File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 1378, in _validate_key
    raise ValueError(f"Can only index by location with a [{self._valid_types}]")
ValueError: Can only index by location with a [integer, integer slice (START point is INCLUDED, END point is EXCLUDED), listlike of integers, boolean array]

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "C:\datasyori\hoge.py", line 95, in <module>
    Cn = C.iloc[Tn,0]
  File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 961, in __getitem__
    return self._getitem_tuple(key)
  File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 1458, in _getitem_tuple
    tup = self._validate_tuple_indexer(tup)
  File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 771, in _validate_tuple_indexer
    raise ValueError(
ValueError: Location based indexing can only have [integer, integer slice (START point is INCLUDED, END point is EXCLUDED), listlike of integers, boolean array] types

該当のソースコード

ソースコード

#1回目の訪問先の抽出

from matplotlib import pyplot as plt
from sklearn import datasets, preprocessing
from sklearn.cluster import KMeans
import numpy as np
import pandas as pd
import cartopy.crs as ccrs
import cartopy.io.shapereader as shpreader

pd.set_option('display.max_rows',600)
#前処理後のcsvを読み込み
yomi=pd.read_csv("simulationkai.csv")
df=pd.read_csv("simulationkai.csv",usecols=["longitude","latitude"])

# DataFrameに変換
print(df.head())
# データの整形
X = df

 
# クラスタリング
cls = KMeans(n_clusters=4)

result = cls.fit(X)
X['cluster'] = result.labels_
PC= pd.DataFrame(X['cluster'])
PC
df.head()
#yomiのデータフレームにcluster(クラスタ番号)を追加する
yomi['cluster_id']=PC
yomi

#yomi(元データにクラスタ番号を追加したもの)をallclsdata.csvに保存する
yomi.to_csv("allclsdata.csv")

D = X.sort_values(by="cluster")
D = D.drop_duplicates(subset='cluster')
D
# 各クラスタ内のデータ数をカウント
V = X['cluster'].value_counts()
V
# 各クラスタの番号とデータ数をclsvalue.csvに保存
V.to_csv("clsvalue.csv")


# クラスタの重心確認
C = pd.DataFrame(result.cluster_centers_)
C

C.iloc[0, :]


lat= X['latitude'].tolist()
lon= X['longitude'].tolist()

clat=C[0].tolist()
clon=C[1].tolist()


#から1800までのクラスタのデータからそれぞれ同じ被験者の重複を省いてデータ人数を取得して順番にCSVにまとめる
from csv import writer
#pp = pd.DataFrame
#ppi =  pd.DataFrame
#yomiからWhile文でN番目のクラスタのデータのみ抽出
i = 0
while i <= 3:
  yomic = yomi[yomi['cluster_id']== i]
#N番目のクラスタdfから被験者idの重複を消す
  yomics = yomic.drop_duplicates(subset=["id_questionnaire"])
#N番目の加工後データの行数をCSVに付け足す
  #file = [i,len(yomics)]
  #ppi = pp.append([file], ignore_index=True)
  #ppi.to_csv("pp.csv")
  list_data=[i,len(yomics)]
  with open('pp.csv', 'a', newline='') as f_object:  
   writer_object = writer(f_object)
   writer_object.writerow(list_data)  
   f_object.close()
  i = i + 1
#else:
  #ppi.to_csv("pp.csv") 

#pp.csv内の人数を降順にしたものをpps.csvに保存
PP = pd.read_csv("pp.csv",names=["cls","people"])
T = PP.sort_values(by=["people"],ascending=False)
T.to_csv("pps.csv")
PP.to_csv("pp.csv")

#pps.csvの上から順番にクラスタ番号を引き出してその番号の座標をCから引き出す
num = 0
while num <= 3:
  Tn = T.iloc[num,0]
  #Tno = Tn + 1
  Cn = C.iloc[Tn,0]
  Cn2 = C.iloc[Tn,1]
  list_data2=[Tn,Cn,Cn2]
  with open('point.csv', 'a', newline='') as f_object:  
   writer_object = writer(f_object)
   writer_object.writerow(list_data2)  
   f_object.close()
  num = num + 1  

dfh = pd.read_csv("point.csv",names=["cluster_id","latitude","longitude"])
B = pd.read_csv("pps.csv",usecols=["people"])
#dfh2= pd.DataFrame(B['people'])
dfh['people']= B
dfh.to_csv("point.csv")

試したこと

勉強不足でエラーの内容が全く分かっていません

補足情報（FW/ツールのバージョンなど）

Python 3.10.4 (tags/v3.10.4:9d38120, Mar 23 2022, 23:13:41) [MSC v.1929 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.

ここにより詳細な情報を記載してください。

Comments

[8524ba23]

pps.csvにはたしかに「#people」という（先頭に「#」がついた）列は存在しますか？

[mable]

あ、すみませんありませんでした。そこをpeopleに直した場合

>>> #pp.csv内の人数を降順にしたものをpps.csvに保存
>>> PP = pd.read_csv("pp.csv",names=["cls","people"])
>>> T = PP.sort_values(by=["people"],ascending=False)
>>> T.to_csv("pps.csv")
>>> PP.to_csv("pp.csv")
>>>
>>> #pps.csvの上から順番にクラスタ番号を引き出してその番号の座標をCから引き出す
>>> num = 0
>>> while num <= 3:
... Tn = T.iloc[num,0]
... #Tno = Tn + 1
... Cn = C.iloc[Tn,0]
... Cn2 = C.iloc[Tn,1]
... list_data2=[Tn,Cn,Cn2]
... with open('point.csv', 'a', newline='') as f_object:
... writer_object = writer(f_object)
... writer_object.writerow(list_data2)
... f_object.close()
... num = num + 1
...
Traceback (most recent call last):
File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 769, in _validate_tuple_indexer
self._validate_key(k, i)
File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 1378, in _validate_key
raise ValueError(f"Can only index by location with a [{self._valid_types}]")
ValueError: Can only index by location with a [integer, integer slice (START point is INCLUDED, END point is EXCLUDED), listlike of integers, boolean array]

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
File "<stdin>", line 4, in <module>
File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 961, in __getitem__
return self._getitem_tuple(key)
File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 1458, in _getitem_tuple
tup = self._validate_tuple_indexer(tup)
File "C:\Users\mable\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\indexing.py", line 771, in _validate_tuple_indexer
raise ValueError(
ValueError: Location based indexing can only have [integer, integer slice (START point is INCLUDED, END point is EXCLUDED), listlike of integers, boolean array] types
>>> dfh = pd.read_csv("point.csv",names=["cluster_id","latitude","longitude"])
>>> B = pd.read_csv("pps.csv",usecols=["people"])
>>> #dfh2= pd.DataFrame(B['people'])
>>> dfh['people']= B
>>> dfh.to_csv("point.csv")

B is not defineはきえました。

[8524ba23]

あらたなエラー文は質問本文のほうに記載ください。
またエラー発生行は「dfh['people']= B」でしょうか？

[mable]

はい更新いたしました

[8524ba23]

エラーメッセージからコードのどの行でエラーが発生しているか把握できないのですが
エラーが発生している行は「dfh['people']= B」でしょうか？
あるいは「Tn = T.iloc[num,0]」でしょうか？

また、コードはどのような手段で実行しているでしょうか？
- 提示コードをhoge.pyなど.pyファイルに保存して「python hoge.py」などと実行している
- （>>>が表示される）対話環境で、逐次実行している
- Jupyter Notebook環境でセル単位で実行している

[mable]

すみません自分の勉強不足でこれがどこのエラー行なのか把握できていません
ValueError: Can only index by location with a [integer, integer slice (START point is INCLUDED, END point is EXCLUDED), listlike of integers, boolean array]
と
raise ValueError(
ValueError: Location based indexing can only have [integer, integer slice (START point is INCLUDED, END point is EXCLUDED), listlike of integers, boolean array] types
がエラーであることはわかるのですが、、何が起こっているのかを理解できていません

コードの実行はまずExcelに元データがありそれをCドライブに保存してあります。そしてコマンドプロンプトからpythonを起動しメモ帳にコードを書いてコピーしコマンドプロンプトにペーストしております。

[8524ba23]

> pythonを起動しメモ帳にコードを書いてコピーしコマンドプロンプトにペーストしております。

なるほど。対話環境で実行していますね。それだとおそらく複数エラーが発生してしまうので
メモ帳で書いたコードを「hoge（名前はなんでもよい）.py」というファイル名で保存して
コマンドプロンプト上で「python hoge.py」として実行してください。
そうすると最初のエラー場所で処理が止まります。

[mable]

わかりましたありがとうございます！もう一度更新いたします！

[8524ba23]

TやCなどのデータ読込部分？のコードが抜けているようです。

Answer 1

Cn = C.iloc[Tn,0]においてTnはint(やboolなど)でなければならないのにfloatやstr型などそれ以外だと提示エラーが発生します。
print(Tn, type(Tn))などを実行してみて意図通りのint型の値が取得できているか確認してください。
なお、Tnの値がCの（文字型などの）インデクス値である場合は.ilocの代わりに.locを利用することができます。

import pandas as pd

C = pd.DataFrame({'idx':list('abc'), 'val':[11,22,33]})
C = C.set_index('idx', drop=True)
print(C)
#     val
#idx
#a     11
#b     22
#c     33

for Tn in [1]:
    print(Tn, type(Tn))
    Cn = C.iloc[Tn,0]
    print(Cn)

for Tn in ['b']:
    print(Tn, type(Tn))
    Cn = C.loc[Tn,'val']
    print(Cn)

Comments

[mable]

#pps.csvの上から順番にクラスタ番号を引き出してその番号の座標をCから引き出す
から
dfh = pd.read_csv("point.csv",names=["cluster_id","latitude","longitude"])
の間をまるまる変えればよいでしょうか