ラベルエンコーディングでエラーがでます。

Question

pandasのDataFrameで、trainsセットとtestセットをまとめてラベルエンコーディングしようとすると次のエラーが出ます。
↓↓
y contains previously unseen labels: [16, 17]
コードは以下の通りです。

from sklearn.preprocessing import LabelEncoder

for c in cat_cols:
    le = LabelEncoder()
    le.fit(train_x[c])
    train_x[c] = le.transform(train_x[c])
    test_x[c] = le.transform(test_x[c])

trainセットのエンコードはできますが、testセットで躓きます。
train,test両方のデータセットのカラムは全く同じものを持っていますので、なぜエラーになるのかわかりません。

testセット単独で、testセットにfitしたインスタンスでのエンコードはできます。
しかし、上記の形になるとうまくいきません.
正しくは、trainセットでfitしたインスタンスを使わないといけないと思いますし、手詰まりになってしまいました。

dataframeもしくは複数カラムを、まとめてLabelEncoder()に投げると上記のエラーが出るという記事をネット上で見かけましたが、どうしても解決できませんでした。
このエラーは一般的なもので、定型の回避方法あるのでしょうか。

Comments

[aokikenichi]

trainとtestの変数のうちカテゴリ値のものがあると思いますがそのカテゴリの内容は種類は一致してますでしょうか
train['hoge']: red, white, blue
test['hoge']:red, white, blue, green
などになっていないでしょうか

[fu_3823]

おっしゃるとおりでした。
BAにさせていただきたいので、回答に転記して頂けないでしょうか。

Answer 1

trainとtestの変数のうちカテゴリ値のものがあると思いますがそのカテゴリの内容は種類は一致してますでしょうか
train['hoge']: red, white, blue
test['hoge']:red, white, blue, green
などになっていないでしょうか

Comments

[fu_3823]

ありがとうございました。
まだ機械学習について、わからないことも多く、とても助かりました。

[aokikenichi]

解決したとのことでよかったです
また何かありましたら