sklearnのpredictにカテゴリ変数を渡したい

Question

import pandas as pd
import os
import mglearn
import sys
adult_path=os.path.join(mglearn.datasets.DATA_PATH,'adult.data') 
# 対象者の収入が50000$以上かを予測するモデルを構築
names=['age','workclass','fnlwgt','education','education-num',
    'marital-status','occupation','relationship','race','gender',
    'capital-gain','capital-loss','hours-per-week','native-country',
    'income']
data=pd.read_csv(
  adult_path,header=None,index_col=False,
  names=names
)
# いくつかのコラムのみ抜き出す
selected_names=['age','workclass','education','gender','hours-per-week','occupation','income']
data=data[selected_names]
data_dummies=pd.get_dummies(data) # ダミー変数の作成

# print(f'Original Feature:\n{list(data.columns)}','\n')
# print(f'Dummied Feature:\n{list(data_dummies.columns)}','\n')
'''
Original Feature:
['age', 'workclass', 'education', 'gender', 'hours-per-week', 'occupation', 'income']
Dummied Feature:
['age', 'hours-per-week', 'workclass_ ?', 'workclass_ Federal-gov', 'workclass_ Local-gov', 'workclass_ Never-worked', 
'workclass_ Private', 'workclass_ Self-emp-inc', 'workclass_ Self-emp-not-inc', 'workclass_ State-gov', 'workclass_ Without-pay',
'education_ 10th', 'education_ 11th', 'education_ 12th', 'education_ 1st-4th', 'education_ 5th-6th', 'education_ 7th-8th', 'education_ 9th', 
'education_ Assoc-acdm', 'education_ Assoc-voc', 'education_ Bachelors', 'education_ Doctorate', 'education_ HS-grad', 'education_ Masters', 
'education_ Preschool', 'education_ Prof-school', 'education_ Some-college', 'gender_ Female', 'gender_ Male', 'occupation_ ?', 
'occupation_ Adm-clerical', 'occupation_ Armed-Forces', 'occupation_ Craft-repair', 'occupation_ Exec-managerial', 'occupation_ Farming-fishing', 
'occupation_ Handlers-cleaners', 'occupation_ Machine-op-inspct', 'occupation_ Other-service', 'occupation_ Priv-house-serv', 
'occupation_ Prof-specialty', 'occupation_ Protective-serv', 'occupation_ Sales', 'occupation_ Tech-support', 
'occupation_ Transport-moving', 'income_ <=50K', 'income_ >50K']  len=46
'''

features=data_dummies.loc[:,'age':'occupation_ Transport-moving']
X=features.values
y=data_dummies['income_ >50K'].values # valuesをつけるとリストに格納される
# print(data_dummies['income_ >50K']) # 0がFalse、１がTrue
print(f'X_shape:{X.shape},y_shape:{y.shape}') # X_shape:(32561, 44),y_shape:(32561,)
from sklearn.linear_model import LogisticRegression # 通常最小二乗法 2クラス分類
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=0)
logreg=LogisticRegression()
logreg.fit(X_train,y_train)
print(f'Test score:{logreg.score(X_test,y_test)}') # 0.807

# テストデータの特徴量から求めてる結果（その人の収入が50000$以上か）を表示する
pred_text=[s for s in data.income.unique()]
for i in (range(10)):
  prediction=logreg.predict(X_test)[i]
  print(f'Some prediction:{pred_text[prediction]}')
'''
Some prediction: <=50K
Some prediction: <=50K
Some prediction: <=50K
Some prediction: <=50K
Some prediction: <=50K
Some prediction: >50K
Some prediction: <=50K
Some prediction: <=50K
Some prediction: >50K
Some prediction: <=50K
'''

# ここからが本当にやりたいことで、問題が生じているところ
# モデルを構築した後に新たなデータのみを意味合いを保ったままダミーに変換して特徴量を得たい
prediction=logreg.predict([39,'State-gov','Bachelors','Male',40,'Adm-clerical'])
# 特徴量に変換していないのでErrorを吐いてしまう。
print(f'Some prediction:{pred_text[prediction]}')
'''
例えば、[39,'State-gov','Bachelors','Male',40,'Adm-clerical']のSampleデータのみ
をモデルに与えて予測をしたのちに上記のように「Some prediction: <=50K」を結果を表示したい。
このときにpredict関数に渡すためにまずSampleデータを特徴量のデータに変換する必要が
あり、ダミー変数を使うだろうが、Sampleデータ単体だけで変換したものと、すでに変換した
data_dummiesでは意味がことなってくるので、このSampleデータのみでは
get_dummies関数で正しく変換できないと思われる。すでにダミー変数の手本（今回はすでに変換したdata_dummies）
みたいなものがあるのでこれを用いてSampleデータを変換したいがやり方がわからない。
'''

現在、O'REILLYの「Pythonで始める機械学習」でモデルの勉強をしています。ここでは与えられたデータからそれに対応する人の収入が50000$以上かを２クラス分類で予測するモデルを構築しました。
ですが、実際に使うとき、ある人、一人のデータがあり、それをモデルに渡し、その人の予想結果だけを知りたいとなったときに、その渡す少ないデータを、構築済みのモデルに適した形の特徴量に変換する方法がわかりません。ネットなどでできる限り調べたのですが、scoreでR^2値を出して終わっているモデル例ばかりで参考になるものを見つけきれませんでした。
助言をお願いします。

Comments

[meg_]

> ですが、実際に使うとき、ある人、一人のデータがあり、それをモデルに渡し、その人の予想結果だけを知りたいとなったときに、その渡す少ないデータを、構築済みのモデルに適した形の特徴量に変換する方法がわかりません。

訓練データ作成と同様の処理をすれば良いのではないですか？

[hima-mura.]

新たなデータを追加したデータセットを用意してそれをダミー化するので二度手間感がぬぐえないですが、同様の処理をしたら予測できました。訓練データ作成と同様の処理を新たなデータに適用するメソッドがすでにあることを期待していたのですが、自分で調べた感じではないっぽいですね。おとなしく関数つくります。
ありがとうございます。

Answer 1

新たなデータを追加したデータセットを用意してそれをダミー化するので二度手間感がぬぐえないですが、同様の処理をしたら予測できました。

Comments

[bsdfan]

解決済みになったのでリンクの紹介だけ。
sklearnのOneHotEncoderを使うのがおすすめです。
https://www.haya-programming.com/entry/2019/08/17/184527

[hima-mura.]

とても参考になりました。get_dummies()より圧倒的に使い勝手がいいですね。ohe使って書き直してみます。
ありがとうございます。