python indexing.IndexingError: Too many indexers

Question

pythonで現在機械学習について勉強しています。

あるデータを解析しようとしている途中に
pandas.core.indexing.IndexingError: Too many indexers

というエラーが発生してしまいました。
どのようにしたら解決できるでしょうか？

申し訳ありませんが、よろしくお願いします。

import pandas as pd
import numpy as np
import matplotlib as plt
from scipy.stats import zscore
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
import SBS
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier
"""
def zscore(x):
    xmean=x.mean()
    xstd=np.std(x)
    zscore=(x-xmean)/xstd
    return zscore
"""

data=pd.read_csv("train.csv",header=None)
i=0
for i in range(40):
    data[i]=pd.Series(zscore(data[i]))
data1=pd.read_csv("trainLabels.csv",header=None)

#線形SVMのインスタンスを作成
svm=SVC(kernel="linear",C=1.0,random_state=1)
#k近傍分類器のインスタンスを生成
knn=KNeighborsClassifier(n_neighbors=5)
#data1=np.ravel(data1)
sbs=SBS.SBS(knn,k_features=1)
#SVMのモデルにトレーニングデータを結合させる
#x_train,x_test,y_train,y_test=train_test_split(data,data1,test_size=0.25)
sbs.fit(data,data1)
k_feat=[len(k) for k in sbs.subsets_]

#横軸を特徴量の個数、縦軸をスコアとした折れ線グラフを作成
plt.plot(k_feat,sbs.scores_,marker="o")
plt.ylim([0.7,1.02])
plt.ylabel("Accuracy")
plt.xlabel("Number of features")
plt.grid()
plt.tight_layout()
plt.show()

上でimportしたSBS.pyです

from sklearn.base import clone
from itertools import combinations
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

class SBS():
    #逐次後退選択を実行するクラス

    def __init__(self,estimator,k_features,scoring=accuracy_score,
                 test_size=0.25,random_state=1):
        self.scoring=scoring
        self.estimator=clone(estimator)
        self.k_features=k_features
        self.test_size=test_size
        self.random_state=random_state

    def fit(self,X,Y):
        x_train,x_test,y_train,y_test=\
        train_test_split(X,Y,test_size=self.test_size,random_state=self.random_state)
        dim=x_train.shape[1]
        self.indices_=tuple(range(dim))
        self.subsets=[self.indices_]

        #全ての特徴量を用いてスコアを算出
        score=self._calc_score(x_train,y_train,x_test,y_test,self.indices_)

        #スコアを格納
        self.scores_=[score]
        #指定した特徴量の個数になるまで処理を反復
        while dim>self.k_features:
            #空のリストを生成
            scores=[]
            subsets=[]

            #特徴量の部分集合を表す列インデックスの組み合わせごとに処理を反復
            for p in combinations(self.indices_,r=dim-1):
                #スコアを算出して格納
                score=self._calc_score(x_train,y_train,x_test,y_test,p)
                scores.append(score)
                #特徴量の部分集合を表す列インデックスのリストを格納
                subsets.append(p)

            #最良のスコアのインデックスを抽出
            best=np.argmax(scores)
            #最良のスコアとなる列インデックスを抽出して格納
            self.indices_=subsets[best]
            self.subsets_.append(self.indices)
            #特徴量の個数を１つだけ減らして次のステップへ　
            dim-=1

            #スコアを格納
            self.scores.append(scores[best])

        #最後に格納したスコア
        self.k_score_=self.scores_[-1]

        return self

    def transform(self,x):
        #抽出した特徴量を返す
        return x[:,self.indices]

    def _calc_score(self,x_train,y_train,x_test,y_test,indices):
        #指定された列番号indicesの特徴量を抽出してモデルを適合
        self.estimator.fit(x_train.iloc[0::,indices],y_train)
        #テストデータを用いてクラスラベルを予測
        y_pred=self.estimator.predict(x_test.iloc[0::,indices])
        #真のクラスラベルと予測値を用いてスコアを算出
        score=self.scoring(y_test,y_pred)
        return score

CSVのデータです

（コード参照元）Python 機械学習プログラミング　Sebastian Raschka著

Answer 1

"Too many indexers" のエラーですが、 SBS.py の _calc_score() 関数内のx_train.iloc[0::,indices] および x_test.iloc[0::,indices] と DataFrame のIndexing行う処理において、 indices の値として tuple型 で与えられていることが原因のようです。
（どうやら tuple型は MultiIndexの指定として使用されるため、今回のような Indexingの用途ではエラーになるとのことです）

ですので、indices の値を list(indices) などとlist型に変換するとこの部分に関してはエラーがでなくなるのではないでしょうか。

私の環境では、これ以外のエラーにより動作しておりません

Comments

[rmt0202]

ありがとうございます！
あとはSBSの変数が一致していないところがあったのでそこを直したら動作しました！