カテゴリーデータを数値化したい（One-Hot以外）

Question

ある道路の交通量を予測するモデルを作っています。
モデルのインプットの中に”weather_description”という天候の種類を定義したコラムが存在します。
そのそれぞれのカテゴリーを数値に変換したいです。

単純なOne-hot以外で何か方法（戦略）はありますか？

"weather_description"のコラムのValueは下記のようになってます。
(df["weather_description"].value_counts()で出力したものです。)

よろしくお願いいたします。

Answer 1

とりあえず人の目で見て同じ意味なのはまとめて集計。

あとはまあ雲の量とか雨、風の激しさみたいにいくつかの変数に分けて、順序尺度まで持っていければ上出来ってところじゃないでしょうか。

変換のルールを作るところまでは機械的にやるのは無理ですから、人の手で泥臭く「この情報をどう表現できるか？」を考えて変換するしかないです。

それは辛いし、順序尺度になったところで使える分析の制約が強すぎると思えばone-hotの方が潔いという発想もありです。その場合でも、同じようなやつの統一くらいはやりましょう（sky is clearとSky is Clearは明らかに一つにまとめていい、とか。じゃあmistとfogを統一するか分けるか？　は分析の目的によると思います）。

Answer 2

word2vecを使ってベクトル化してはいかがでしょうか。ひとつの単語に対して要素数200くらいの連続値のベクトルが出力されるので、一応要望を満たします。