one-hot エンコーディングを実行したいのに、value errorになる

Question

前提・実現したいこと

データの前処理の勉強をテキストにそってやっています。
one-hot エンコーディングを実行しようとしたのですが、以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

ValueError: could not convert string to float: 'M'

該当のソースコード

from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import LabelEncoder
import numpy as np
import pandas as pd
df = pd.DataFrame([
    ['green', 'M', 10.1, 'class1'],
    ['red', 'L', 13.5, 'class2'],
    ['blue', 'XL', 15.3, 'class1']])
df.columns = ['color', 'size',　'price', 'classlabel']
X = df[['color', 'size', 'price']].values
color_le = LabelEncoder()
X[:, 0] = color_le.fit_transform(X[:, 0])

ohe = OneHotEncoder(categorical_features=[0])

ohe.fit_transform(X).toarray()

得られる結果

array([[ 0. , 1. , 0. , 1. , 10.1],
       [ 0. , 0. , 1. , 2. , 13.5],
       [ 1. , 0. , 0. , 3. , 15.3]])

試したこと

warning で

 DeprecationWarning: The 'categorical_features' keyword is deprecated in version 0.20 and will be removed in 0.22. You can use the ColumnTransformer instead.

とでていたので、columntransformerを試してみましたが、だめでした。

補足情報（FW/ツールのバージョンなど）

python3.7、Anaconda

Comments

[hayataka2049]

テキストではそれを実行するとどんな結果が得られると説明していましたか？

[KazuhideSakai]

お返事、ありがとうございます。
上記内容を変更いたしました。
color 値を整数化し、ダミー特徴量が作成された配列が得られるとあります。

[hayataka2049]

X[:, 0] = color_le.fit_transform(X[:, 0])
は正しいでしょうか？　とりあえず、
X[:, 1] = color_le.fit_transform(X[:, 1])
としないと質問のような結果にはならないような（それでもエラー出ますけど）

[hayataka2049]

いや、それも違うか。

Answer 1

正直なところいろいろ理解できていませんが（そのコードでその結果は出ない気がする。あと、ドキュメントを見る限りは動きそうなcategorical_featuresの指定が動かなかったりする）、とりあえず近い結果が得られるコードが以下になります。

from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import LabelEncoder
from sklearn.compose import ColumnTransformer
import pandas as pd
df = pd.DataFrame([
    ['green', 'M', 10.1, 'class1'],
    ['red', 'L', 13.5, 'class2'],
    ['blue', 'XL', 15.3, 'class1']])
df.columns = ['color', 'size', 'price', 'classlabel']
X = df[['color', 'size', 'price']].values
color_le = LabelEncoder()
X[:, 1] = color_le.fit_transform(X[:, 1])
ohe = OneHotEncoder()
ct = ColumnTransformer([("categorical", ohe, [0]),
                        ("numeric", "passthrough", [1,2])])

result = ct.fit_transform(X)
print(result)
""" =>
[[0.0 1.0 0.0 1 10.1]
 [0.0 0.0 1.0 0 13.5]
 [1.0 0.0 0.0 2 15.3]]
"""

Comments

[KazuhideSakai]

ありがとうございます。
自分がやった方法よりもスマートです。
warning もでないですし。
勉強します。

[hayataka2049]

スマートさも大切だけど、まずは本に書いてある順番通りにちゃんと動かすところから

Answer 2

エラーの出た項以前にあった、各特徴量の整数変換を追加することで解決。

#  Tシャツのサイズと整数を対応させるディクショナリを生成
size_mapping = {'XL': 3, 'L': 2, 'M': 1}
#  Tシャツのサイズを整数に変換
df['size'] = df['size'].map(size_mapping)

#  クラスラベルと整数を対応させるディクショナリを生成
class_mapping = {label:idx for idx, label in
enumerate(np.unique(df['classlabel']))}
#  クラスラベルを整数に変換
df['classlabel'] = df['classlabel'].map(class_mapping)

#  ラベルエンコーダのインスタンスを生成
class_le = LabelEncoder()
#  クラスラベルから整数に変換
y = class_le.fit_transform(df['classlabel'].values)

上記によって、テキスト通りの結果が得られた。

しかし、
FutureWarning と DeprecationWarning が出たが、ここでは問題ではないため、許容する。

Comments

[Orlofsky]

次の質問から現象を再現できる最小限のコードを提示してください。

[KazuhideSakai]

最小限というのは、
コメントなし、まとめられるコードをまとめ、
コードの順序は整理するということでしょうか。

[hayataka2049]

今回は現象は再現できましたし、問題はそこではなかったです。最小限だからといってコメントまで外す必要はありません（けど、わかりやすいような整理は全体的にしていただいた方が回答する側としては助かります。）

[KazuhideSakai]

承知いたしました。
丁寧な対応、ご助言、誠に感謝いたします。
次回から改善してまいります。

Answer 3

どこで出ているエラーか解りませんが、

ValueError: could not convert string to float: 'M'

文字列から浮動小数点型に変換できない、
って怒られています。
読み込むデータから個々にきちんと追跡しては？

Comments

[KazuhideSakai]

データは読み込んだものではなく
作成したものなのですが、
その場合はどうすればよいのでしょうか。

[Orlofsky]

作成した場合でも、'M' が文字列から浮動小数点型に変換できないのでしょう。