オートスケーリングをするとnanがでる

Question

機械学習をしていて、説明変数がたくさんあります。
下記のソースコードで説明変数全体をオートスケーリングして内容を確認したところ、すべてのサンプルでnanと出てきてしまう変数がいくつかあります。
X = (OriginalX - OriginalX.mean(axis=0)) / OriginalX.std(axis=0, ddof=1)

元のcsvファイルを確認したところ、欠損値はないようですが、0, 0, 0, 1, 0, 0,...みたいなスパースな変数は割りとあります。例えば半数以上が同じ数字の説明変数などは削った方がよいでしょうか。よろしくお願いいたします。

Answer 1

nanになる変数は、stdが0になっていないかどうか確認してください。
一般的に、出現頻度が低すぎる説明変数は削った方が得策です。ただし、適切なスレッショルドが「半数以上が同じ」か「10%以下にしか出現しない」かはケースバイケースだと思うので、色々試してみることをおすすめします。

Comments

[MOSMOS2]

ありがとうございます。色々試してみます