[imblearn under_sampling] 'Input contains NaN, .....' のエラーを解決できません

Question

機械学習に置ける学習データが不均衡データのため、RandomUnderSamplerでアンダーサンプリングを実行したいのですが、
以下の様にエラーが吐き出され、原因がつかめません。
0. Xはpandas.Dataframe。 カラムはint, float, objectがあり、どのタイプのカラムにもNaNが存在する。

1. Xに何も処理を行わずRandomUnderSamplerを実行した場合は問題なく実行できる。
2. objectカラムのカテゴリカルデータをsklearn.LabelEncoderで整数に変換したXにRandomUnderSamplerを実行すると下記エラーが出る。
3. X[col].fillna(-999, inplace=True)などでNaNを除去するとRandomUnderSamplerを実行できる。
4. 自分で新たに作成した特徴量が入ると再び下記エラーが吐き出される（NaNは除去済み）。

最初は問題なくRandomUnderSamplerが実行できるのに、
カテゴリカルデータを整数値にした途端にエラーに。
エラーメッセージではfloatの値がおかしいとありますが、float型のカラムには
処理を加えていないため、解せません。

大変恐縮ですが、どなたか解決策お分かりになる方おられましたら
何卒よろしくお願いします。

from imblearn.under_sampling import RandomUnderSampler

sampler = RandomUnderSampler(random_state=42)
# downsampling
X_resampled, y_resampled = sampler.fit_resample(X, y)

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-12-0aa21c497588> in <module>
      3 sampler = RandomUnderSampler(random_state=42)
      4 # downsampling
----> 5 X_resampled, y_resampled = sampler.fit_resample(X, y)

/opt/conda/lib/python3.6/site-packages/imblearn/base.py in fit_resample(self, X, y)
     77 
     78         check_classification_targets(y)
---> 79         X, y, binarize_y = self._check_X_y(X, y)
     80 
     81         self.sampling_strategy_ = check_sampling_strategy(

/opt/conda/lib/python3.6/site-packages/imblearn/under_sampling/_prototype_selection/_random_under_sampler.py in _check_X_y(X, y)
     99     def _check_X_y(X, y):
    100         y, binarize_y = check_target_type(y, indicate_one_vs_all=True)
--> 101         X = check_array(X, accept_sparse=['csr', 'csc'], dtype=None)
    102         y = check_array(y, accept_sparse=['csr', 'csc'], dtype=None,
    103                         ensure_2d=False)

/opt/conda/lib/python3.6/site-packages/sklearn/utils/validation.py in check_array(array, accept_sparse, accept_large_sparse, dtype, order, copy, force_all_finite, ensure_2d, allow_nd, ensure_min_samples, ensure_min_features, warn_on_dtype, estimator)
    540         if force_all_finite:
    541             _assert_all_finite(array,
--> 542                                allow_nan=force_all_finite == 'allow-nan')
    543 
    544     if ensure_min_samples > 0:

/opt/conda/lib/python3.6/site-packages/sklearn/utils/validation.py in _assert_all_finite(X, allow_nan)
     54                 not allow_nan and not np.isfinite(X).all()):
     55             type_err = 'infinity' if allow_nan else 'NaN, infinity'
---> 56             raise ValueError(msg_err.format(type_err, X.dtype))
     57     # for object dtype data, we only check for NaNs (GH-13254)
     58     elif X.dtype == np.dtype('object') and not allow_nan:

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

Answer 1

私のつたない利用経験からいうと、あらかじめ欠損値はdropnaで除外するかfillnaで補完するべきかと思います。
質問に記載のエラーメッセージはデータに欠損値が含まれると出力されたので、おそらく同じ事象と思います。ただ、欠損値が含まれると必ずエラーになるとは限りませんでした。公式ドキュメントを見ても、このあたりの説明がないので私はとりあえず欠損値を含めないことにしています。なお、エラーが出ないケースも正しく処理ができているとは言い難く、出力結果が全て文字列に変換されてしまいました。

公式ドキュメントによるとRandomUnderSamplerはランダムにサンプリングしているだけなのでpandasのsampleメソッドで代替できます。欠損値が含まれる状態のまま、ダウンサンプリングしたいのであれば、sampleメソッドを使ったアプローチのほうがいいと思います

Comments

[yiolino]

ご回答ありがとうございます！！

4.ではobject型のカラムはlabelencoderでint型にした後に、NaNを-999で置換、downsampling後にまた-999をNaNに戻す操作を行っております（今のところ、lgbで欠損値補完するよりもNaNのままの方がCVが良いため）

クラス毎にsampleメソッドを適用するということですね。
imblearnが上手くいかず嵌ってしまっていました。
sampleメソッドで実装してみようと思います。
ありがとうございました。