エラー Number of features of the model must match the inputの解消法

Question

前提・実現したいこと

taitanicの生存率を求めるデータセットで
cross_validateとGridSearchを使用して分析

cross_validateとGridSearchを使用してpredict_proba関数に引数を渡した際に、下記のエラーが発生致しました。

発生している問題・エラーメッセージ

ValueError: Number of features of the model must match the input. Model n_features is 837 and input n_features is 452 

ソースコード

#ライブラリimport
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
%matplotlib inline
from sklearn.linear_model import LinearRegression as LR
#決定着モデルのライブラリ
from sklearn.tree import DecisionTreeClassifier as DT
from sklearn.tree import export_graphviz
#クロスバリデートとグリッドサーチのライブラリ
from sklearn.model_selection import cross_validate
from sklearn.model_selection import GridSearchCV

#データ読み込み
train = pd.read_csv("train.csv")
test = pd.read_csv("test.csv")

#欠損値の補間
train["Cabin"]=train["Cabin"].fillna(0)
test["Cabin"]=test["Cabin"].fillna(0)

train["Name"]=train["Name"]=0
test["Name"]=test["Name"]=0

train["Embarked"]=train["Embarked"].fillna(0)
test["Embarked"]=test["Embarked"].fillna(0)

train["Age"] = train["Age"].fillna(train["Age"].mean())
test["Age"] = test["Age"].fillna(test["Age"].mean())

train["Fare"] = train["Fare"].fillna(train["Fare"].mean())
test["Fare"] = test["Fare"].fillna(test["Fare"].mean())

#説明変数取り出し
trainX = train.iloc[:,2:11]
testX = test.iloc[:,1:10]

#目的変数取り出し
y = train["Survived"]

#object型を変換するため、ダミー変数化
trainX = pd.get_dummies(trainX)
testX = pd.get_dummies(testX)

#cross_validateとGridSearch
clf3 = DT()
parameters = {"max_depth":list(range(2,11))}
gcv = GridSearchCV(clf3,parameters,cv=5,scoring="roc_auc",n_jobs=-1)
gcv.fit(trainX,y)
gcv.cv_results_
train_score = gcv.cv_results_["mean_train_score"]
test_score = gcv.cv_results_["mean_test_score"]
pred = gcv.predict_proba(testX)

補足情報（FW/ツールのバージョンなど）

Anaconda3

Answer 1

trainX = pd.get_dummies(trainX)
testX = pd.get_dummies(testX)

それぞれ別々にダミー変数に変換してしまうと、インデックスが別々になるので学習データとテストデータで次元数が揃わなくなります。

• 対処法1

結合してからダミー変数に変換したあともう一回分ける

• 対処法2

個人的にはそもそもpandasでこの手の処理をやるのは辛いと思うので、sklearnのOneHotEncoderなどでやると良いと思います。
sklearn.preprocessing.OneHotEncoder — scikit-learn 0.20.3 documentation

Comments

[mintia123]

ありがとうございます。下記のように「対処法１」を試したところ実行できました。
----------------------------------------------
union = pd.concat([trainX,testX])
union = pd.get_dummies(union)
trainX = union.iloc[0:891,:]
testX = union.iloc[891:1309,:]
----------------------------------------------
後ほど教えていただけた「対処方２」も試してみます。

Answer 2

google翻訳
モデルの特徴数は入力と一致する必要があります