テストデータに対してLabel Encodingを行う際、テストデータにのみ存在するカテゴリがある場合の処理について

Question

sklearnのLabelEncodingインスタンスを用いて、訓練データをfitし、testデータも同様のインスタンスを用いてtransformさせたいです。
しかし、訓練データにないカテゴリがtestデータにある場合、このインスタンスを用いるとエラーになってしまうと思います。

このようなケースは多々あると思うのですが、皆様はどのように対処されていますでしょうか。

Comments

[退会済みユーザー]

> signateのコンペにおけるtest dataを推定したい
だそうです。

Answer 1

sklearnのLabelEncodingインスタンスを用いて、訓練データをfitし、testデータも同様のインスタンスを用いてtransformさせたいです。
コンペであれば時間との勝負と思います。
ですので、skleanのバグなのか仕様なのか分かりませんが、対応を待つより、

1. Train/test両方のラベル情報をpandasで扱える形に書き出し、
2. Train/Test全体のnuniqueでユニーク値を抽出
3. 結果をリストに格納
4. リストに出現した番号を便宜上のLabelEncodingとして利用

で解決ではないでしょうか。

Comments

[yugo1111]

Train/Test両方のデータを統合してEncodingするということですね
それなら解決できそうです、ありがとうございます！

Answer 2

Train / Test splitした後に、np.uniqueみたいな関数を使って、

• 割り振られたラベルの種類を比較したり
• 割り振られたカテゴリのデータ数の比率をチェックしたり（例えば、質問のようにゼロ個は不適切）
  のような感じで確認処理をして、ダメならもう一度train / test splitをやり直す

というように、while文の内側にtrain / test splitを入れると良いです。

—-
Train/ Testからやり直せないのであれば、同じくユニークなラベルを取り出して、学習と評価とで合致しないラベルはdropするのが良いと思います。
※ただ、これではデータ欠損が起きるので、望ましくはデータを増やして補う、なのは言うまでもない策ですね。

Comments

[yugo1111]

ご回答いただき大変ありがとうございます！
しかし、以下の理由からこの手法では解決できないかもしれません、、、
1, train data, validation data, test dataにに分けた際のtest dataにuniqueなカテゴリが存在しているという状況であるため、train dataのsplitの仕方を変えても変わらずエラーとなると思います。
2, signateのコンペにおけるtest dataを推定したいので、testのデータをdropすることはできないと思います。
ご回答いただいたにも関わらずすみません。
何か他に解決策がございましたら、ぜひお伺いしたいです。