target encoderがone hot encoderよりカテゴリカル変数が多い際に有効である理由を教えてください。

Question

カテゴリカル変数が大量にある場合のエンコーディング

カテゴリカル変数のエンコーディングについてお伺いします。
大量のカテゴリカル変数をエンコーディングする際、one hot encorderとtarget encoderの比較を行っています。今のところ、　one hot encorderは祖行列が大量に発生してしまうため適さず、target encoderがおすすめというざっくりとしたところまで分かりました。しかし、なぜtarget encorderの方が適しているのか、積極的な理由がつかめていません。

どなたか、なぜカテゴリカル変数が大量にある際、taeget encorderの方が優れているのか、教えていただけますでしょうか。

よろしくお願いします。

Comments

[y_waiwai]

そのカテゴリカル変数ってのはなにかを説明できるでしょうか

[harumakiyammy]

私の直接の担当ではないのですが、服の素材だと伺いました。

Answer 1

カテゴリ変数のエンコーディング手法の性能比較

上記サイトの検証例では列数を増やすエンコーディングと列数を増やさないエンコーディングとで明確な性能差はないようでした。
結論では下記とも書かれています。

OneHot Encodingはカテゴリの項目数の分だけ次元を増やすので複雑な分類境界面を作成出来ますが、そのぶんベクトルが疎になるので、学習が不安定になることがあります。

質問者さんのデータ

カテゴリカル変数が大量にある場合

では、OneHot Encodingは学習がより不安定になるかもしれませんね。

また、メモリ容量の制約からOneHot Encodingが難しい場合もあるかと思います。

【追記】
Target Encoding Vs. One-hot Encoding with Simple Examples

Limitations of Target Encoding

Target encoding is dependent on the distribution of the target which means target encoding requires careful validation as it can be prone to overfitting. This method is also dataset-specific and will only show significant improvements some of the time.

Target Encodingするデータに偏りがある場合は過学習を起こしやすいみたいです。どちらの手法にもメリット・デメリットがありますのでデータによって使い分けるのが良いかと思われます。

Comments

[harumakiyammy]

かしこまりました！やはりデータがどのようなものかで使い分けるしかありませんね。ありがとうございます！