/sklearn/feature_selection/univariate_selection.py内でのエラー

Question

質問内容

私はいま、machine-learning-notebook/sklearn/feature_selection/univariate_selection.py内で時々エラーが発生します（yの要素をひとつずつ更新するプログラムなので、yによってエラーが出てしまっているようです）。原因は、0で割ってしまっている箇所があるからだと考えております。そこで実際にfeature_selection　や　univariate_selection.py　の中身を拝見しているのですが、どこを直せば自分のコードが改善されるのかわかりません。

変数

type(X) #pandas.core.frame.DataFrame
X.shape #(20, 20)

type(y) #pandas.core.series.Series
y.shape #(20,)
#X, yともにバイナリ

ファイルの載せ方がわからなかったので図を載せます。????
X????

y????

エラー発生コード

selector = SelectKBest(score_func=f_regression, k=num_select)
selector.fit(X, y)

該当エラー

/usr/local/Caskroom/miniconda/base/lib/python3.7/site-packages/sklearn/feature_selection/univariate_selection.py in fit(self, X, y)
    347 
    348         self._check_params(X, y)
--> 349         score_func_ret = self.score_func(X, y)
    350         if isinstance(score_func_ret, (list, tuple)):
    351             self.scores_, self.pvalues_ = score_func_ret

/usr/local/Caskroom/miniconda/base/lib/python3.7/site-packages/sklearn/feature_selection/univariate_selection.py in f_regression(X, y, center)
    302     # convert to p-value
    303     degrees_of_freedom = y.size - (2 if center else 1)
--> 304     F = corr ** 2 / (1 - corr ** 2) * degrees_of_freedom
    305     pv = stats.f.sf(F, 1, degrees_of_freedom)
    306     return F, pv

RuntimeWarning: divide by zero encountered in true_divide

試したこと

if (1 - corr ** 2 ==0):
    continue

上記のコードを追加いたしましたら、univariate_selection.pyの中でX_normsが定義されていないという
理由からまたエラーが発生しました。そこで解決すべく、

X_norms = np.sqrt(row_norms(X.T, squared=True) -
                          n_samples * X_means ** 2)

も書くことにしましたが、すると、"typeはdではなくlでないといけない"と、更にエラーが発生しました。

ちなみに、特徴量の分散や同じ特徴量が存在するのかを確認してみたところ、

#特徴量の分散や同じ特徴量が存在するのかを確認
from sklearn.feature_selection import VarianceThreshold
sel = VarianceThreshold(threshold=0)
sel.fit(X)

# get_supportで保持するデータのみをTrue値、そうでないものはFalse値を返します
print(sum(sel.get_support())) #20

となり、同じ特徴量は存在しないことが確認できています。

###　謝辞
自分では埒が明かないように感じ、今回質問させていただきました。どうかよろしくお願いいたします。

Comments

[y_waiwai]

エラーが出ている関数、及びその周辺のコードを提示しましょう

[SHS]

ご指摘ありがとうございます。
`selector = SelectKBest(score_func=f_regression, k=num_select)`
`selector.fit(X, y)`
の箇所です。どうぞよろしくお願い致します。

Answer 1

分散が0（すべての要素が同じ値）の特徴量が混ざっていたりしませんか？

VarianceThresholdとPipelineにすると良いかもしれません。

sklearn.feature_selection.VarianceThreshold — scikit-learn 0.22 documentation

Comments

[SHS]

ご回答ありがとうございます。実はすべての要素が同じ特徴量は入っておりません。

[hayataka2049]

だとすると、完全に相関する特徴量があったりしますか？（ざっくりコードを見た感じだと、そっちかも）

[hayataka2049]

と思ってみましたが、違うかもしれません。Xとyを再現できるように質問に追記していただくと良いかと思います。
（再現性がないと困るので、CSVと読み込みのコードを）

[SHS]

ご指摘ありがとうございます。もしよろしければご確認していただけると嬉しいです。

[hayataka2049]

画像で載られても困ります（手入力しろって？）。
せめてto_csvした結果をテキストで貼り付けてください。

[SHS]

ご指摘ありがとうございます、かしこまりました。