機械学習の特徴選択にお詳しい方に質問です。
Sebastian Raschka著、「Python機械学習ブログラミング 達人データサイエンティストによる理論と実践」を参照しています。
P115~116に以下のようなSequential Backward Selection (SBS)のコードがあります。
このコードをSequential Forward Selection (SFS)を実行するコードに変換したいのですが、どうすればいいのでしょうか?
Python
1from sklearn.base import clone 2from itertools import combinations 3import numpy as np 4from sklearn.cross_validation import train_test_split 5from sklearn.metrics import accuracy_score 6 7class SBS(): 8 """ 9 逐次後退選択を実行するクラス 10 """ 11 12 def __init__(self, estimator, k_features, scoring=accuracy_score,test_size=0.25, random_state=1): 13 self.scoring = scoring 14 self.estimator = clone(estimator) 15 self.k_features = k_features 16 self.test_size = test_size 17 self.random_state = random_state 18 19 def fit(self, X, y): 20 # トレーニングデータとテストデータに分割 21 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=self.test_size, random_state=self.random_state) 22 # すべての特徴量の個数、列インデックス 23 dim = X_train.shape[1] 24 self.indices_ = tuple(range(dim)) 25 self.subsets_ = [self.indices_] 26 # すべてのスコアの特徴量を用いてスコアを算出 27 score = self._calc_score(X_train, y_train, X_test, y_test, self.indices_) 28 29 # スコアを格納 30 self.scores_ = [score] 31 # 指定した特徴量の個数になるまで処理を反復 32 while dim > self.k_features: 33 # 空のリストの生成(スコア、列インデックス) 34 scores = [] 35 subsets = [] 36 37 # 特徴量の部分集合を表す列インデックスの組み合わせごとに処理を反復 38 for p in combinations(self.indices_ , r=dim-1): 39 # スコアを算出して格納 40 score = self._calc_score(X_train, y_train, X_test, y_test, p) 41 scores.append(score) 42 # 特徴量の部分集合を表す列インデックスのリストを格納 43 subsets.append(p) 44 45 # 最良のスコアのインデックスを抽出 46 best = np.argmax(scores) 47 # 最良のスコアとなる列インデックスを抽出して格納 48 self.indices_ = subsets[best] 49 self.subsets_.append(self.indices_) 50 # 特徴量の個数を1つだけ減らして次のステップへ 51 dim -= 1 52 53 # スコアを格納 54 self.scores_.append(scores[best]) 55 56 self.k_score_ = self.scores_[-1] 57 58 return self 59 60 def transform(self, X): 61 # 抽出した特徴量を返す 62 return X[:, self.indices_] 63 64 def _calc_score(self, X_train, y_train, X_test, y_test, indices): 65 # 指定された列番号indicesの特徴量を抽出してモデルに適合 66 self.estimator.fit(X_train[:, indices], y_train) 67 # テストデータを用いてクラスラベルを予測 68 y_pred = self.estimator.predict(X_test[:, indices]) 69 # 真のクラスラベルと予測値を用いてスコアを算出 70 score = self.scoring(y_test, y_pred) 71 return score
あなたの回答
tips
プレビュー