could not convert string to float: 'retired'

Question

Pythonで決定木モデルの学習をしています。

ValueError: could not convert string to float: 'retired'

のエラーメッセージが発生し、数字ではないのでどのように改善すればいいか悩んでいます。

jobにretiredはあります。

発生している問題・エラーメッセージ

---

ValueError Traceback (most recent call last)
<ipython-input-54-273928de9d56> in <module>
----> 1 tree.fit(train_X, train_y)

/opt/anaconda3/lib/python3.8/site-packages/sklearn/tree/_classes.py in fit(self, X, y, sample_weight, check_input, X_idx_sorted)
888 """
889
--> 890 super().fit(
891 X, y,
892 sample_weight=sample_weight,

/opt/anaconda3/lib/python3.8/site-packages/sklearn/tree/_classes.py in fit(self, X, y, sample_weight, check_input, X_idx_sorted)
154 check_X_params = dict(dtype=DTYPE, accept_sparse="csc")
155 check_y_params = dict(ensure_2d=False, dtype=None)
--> 156 X, y = self._validate_data(X, y,
157 validate_separately=(check_X_params,
158 check_y_params))

/opt/anaconda3/lib/python3.8/site-packages/sklearn/base.py in _validate_data(self, X, y, reset, validate_separately, **check_params)
427 # :(
428 check_X_params, check_y_params = validate_separately
--> 429 X = check_array(X, **check_X_params)
430 y = check_array(y, **check_y_params)
431 else:

/opt/anaconda3/lib/python3.8/site-packages/sklearn/utils/validation.py in inner_f(*args, **kwargs)
70 FutureWarning)
71 kwargs.update({k: arg for k, arg in zip(sig.parameters, args)})
---> 72 return f(**kwargs)
73 return inner_f
74

/opt/anaconda3/lib/python3.8/site-packages/sklearn/utils/validation.py in check_array(array, accept_sparse, accept_large_sparse, dtype, order, copy, force_all_finite, ensure_2d, allow_nd, ensure_min_samples, ensure_min_features, estimator)
596 array = array.astype(dtype, casting="unsafe", copy=False)
597 else:
--> 598 array = np.asarray(array, order=order, dtype=dtype)
599 except ComplexWarning:
600 raise ValueError("Complex data not supported\n"

/opt/anaconda3/lib/python3.8/site-packages/numpy/core/_asarray.py in asarray(a, dtype, order)
81
82 """
---> 83 return array(a, dtype, copy=False, order=order)
84
85

/opt/anaconda3/lib/python3.8/site-packages/pandas/core/generic.py in array(self, dtype)
1779
1780 def array(self, dtype=None) -> np.ndarray:
-> 1781 return np.asarray(self._values, dtype=dtype)
1782
1783 def array_wrap(self, result, context=None):

/opt/anaconda3/lib/python3.8/site-packages/numpy/core/_asarray.py in asarray(a, dtype, order)
81
82 """
---> 83 return array(a, dtype, copy=False, order=order)
84
85

ValueError: could not convert string to float: 'retired'

該当のソースコード

from sklearn.tree import DecisionTreeClassifier as DT
tree = DT(max_depth =2, random_state=0)
tree.fit(train_X, train_y)

Comments

[toast-uz]

train_Xに文字列が含まれている、ということでしょうか？「機械学習 前処理 文字列」などでググってみてください。

[BoKuToTuZenU]

どのようなデータが入ってるかわからないので、train_Xやtrain_yの中身を少し見せてほしいです。
sklean.preprocess.LabelEncoderなどで、カテゴリカルな入力を対応するクラス番号にエンコードすることができます。
https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.LabelEncoder.html

[kato9090]

train_Xのjobにretiredはあります。

[toast-uz]

train_Xに文字列が含まれていると理解しました。ほとんどの機械学習アルゴリズムには文字データは入れられませんので、「機械学習 前処理 文字列」などでググって、数値に変換する方法を調べてください。

Answer 1

df = pd.get_dummies(df)でダミー変数化できました。重要度表示まで行えて、ご指摘ありがとうございます。

Answer 2

こちらのエラーが出ている原因はコメント欄の中にございますように、機械学習のモデルには文字列を入力できないという問題があります。
そこで、文字列と対応した番号付を行えば、学習することができると考えられます。
例）
jobのコラムでは、
blue-coller -> 0
entrepreneur -> 1
management -> 2
retired -> 3
...

のような感じです。
この、データはcsvファイルであると思いますので、pandasを用いれば変換することができます。
pd.get_dummies(df)
を用いれば変換できます（ドキュメント）。

追記

pd.get_dummiesはラベルエンコーディングの後にone-hotに変更します。
そのため、
a,b,c,dなどのカテゴリがある場合、
a->0,b->1,c->2,d->3
などと番号付を行います。
その後に

a-> [1,0,0,0]
b-> [0,1,0,0]
c-> [0,0,1,0]
d-> [0,0,0,1]

などのようにone-hotのベクトルに変更する処理を行います。
-> 追記終わり

これは、データ型dtypeがobject（おもに文字列）またはcategoryである列がすべてダミー変数化されます。
これを用いることで機械学習のモデル(sklearnの決定木でしょうか？)に入力することができるかと思います。

また、質問する際にコードやエラーの部分は、バッククオート(```)を3つつけたもので囲むと良いかと思います。
詳しい書き方を参照していただけたらと思います。

Comments

[bsdfan]

label encode(文字列と対応した番号付)とone hot encode(ダミー変数化)の話が混ざっているので、ちゃんとわけて書いた方がいいです。