onehot encoding error

Question

onehot encoding
を行うとエラーが出ます。
欠損値を埋めた状態でやるとエラーが出てしまいます。
どなたか教えて頂けると幸いです。

下記はエラーが出ないで正常に動作します。

# onehot encoding
onehot = []
for name, type in zip(df.columns, df.dtypes):
  if type == 'object':
    onehot.append(name)
    
df = pd.get_dummies(df, prefix=onehot)
dftest = pd.get_dummies(dftest, prefix=onehot)

df = df.fillna(value='somevalue')
dftest = dftest.fillna(value='somevalue')

# onehot encoding
onehot = []
for name, type in zip(df.columns, df.dtypes):
  if type == 'object':
    onehot.append(name)
    
df = pd.get_dummies(df, prefix=onehot)
dftest = pd.get_dummies(dftest, prefix=onehot)

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-4-5234f2d09ea7> in <module>()
      5 
      6 df = pd.get_dummies(df, prefix=onehot)
----> 7 dftest = pd.get_dummies(dftest, prefix=onehot)
      8 
      9 print(df.shape)

1 frames
/usr/local/lib/python3.6/dist-packages/pandas/core/reshape/reshape.py in check_len(item, name)
    821                     len_msg = len_msg.format(name=name, len_item=len(item),
    822                                              len_enc=data_to_encode.shape[1])
--> 823                     raise ValueError(len_msg)
    824 
    825         check_len(prefix, 'prefix')

ValueError: Length of 'prefix' (123) did not match the length of the columns being encoded (122).

Answer 1

dfとdftestでnanの出現状況が異なるなどの原因で、列数が変わるのではないでしょうか。

また、機械学習で使うために、学習データと訓練データで統一された条件下でonehot encodingを行いたい場合は、scikit-learnをもちいた方が便利です。

sklearn.preprocessing.OneHotEncoder — scikit-learn 0.21.2 documentation

Comments

[退会済みユーザー]

欠損値を補完しても列数が変わってはいませんでした。
dfとdftest共に列数とカラム名は同じなので困っています。

[hayataka2049]

目的変数の分だけ多いとかは？

[退会済みユーザー]

目的変数は除外してます。

[hayataka2049]

わかりました。状況を再現できるデータを頂ければ、こちらで検証します。