二種類のカテゴリ変数であればone-hot encordingにする必要がない理由がわかりません。

Question

機械学習の勉強をしているものです。
3種類以上のカテゴリ変数を特徴量エンジニアリングする場合に、単純に数値変換してしまうと
機械学習アルゴリズムが存在しない大小関係を学んでしまう恐れがあるためone-hotエンコーディング
を用いることを学びました。

ここで疑問なのですが、2種類のカテゴリ変数では同様の問題は発生しないのでしょうか。
例えばmaleとfemaleという変数を0と1に変換した場合に、アルゴリズムがmale
はfemaleより1小さいと学んでしまうなどです。

0と1だけの場合には勝手に真偽値扱いされるのでしょうか。

Answer 1

機械学習アルゴリズムにもいろいろありますが、一般化して言うと名義尺度の場合は各カテゴリに属するサンプルの間で特徴量空間上で距離が等しくなればそんなに不都合はないのです。

ペイントで描いた雑な図ですが、こんな感じ。

Comments

[jamboc]

ご回答ありがとうございます！
なるほど、数値そのものではなく距離で関係を把握しているのですね。
(変な話maleとfemaleを123と456にしても本質的には問題ないのですね。)

図のおかげで直感的に理解することができました！ありがとうございます！！

[hayataka2049]

実際はアルゴリズムごとに固有の特性があり、表し方によっては特定のアルゴリズムで解きやすくなったり解きづらくなったりすることもあります。one-hotはまあまあ無難な（様々なアルゴリズムにおいてそこまで問題が起きない）やり方ということが、いろんな手法の仕組みを理解していくとわかると思います。

[hayataka2049]

また二値でone-hotにするのは、何かと不都合なことの方が多く、あまり行われないと思います（本質的な情報が増えないのに推定しないといけないパラメータが増えてしまうので）。

[jamboc]

ご親切にありがとうございます。
まだアルゴリズムをあまり知らないので具体的には理解できていない部分もありますが、今後学習するにあたって脳死でone-hotにするのではなく適切かどうか検討するようにしたいと思います。