機械学習のエラーについて

Question

前提・実現したいこと

今タイタニックの機械学習をしておりました。しかし予測のところでエラーが出てしまいます。どうすれば良いでしょうか？

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-447-a88d82d7d4a6> in <module>
      2 lr = RandomForestClassifier(criterion='gini', max_depth=6, n_estimators=500, random_state=7)
      3 lr.fit(x_train, y_train)
----> 4 y_pred = lr.predict(x_test)
      5 y_pred
      6 

/opt/conda/lib/python3.6/site-packages/sklearn/ensemble/forest.py in predict(self, X)
    543             The predicted classes.
    544         """
--> 545         proba = self.predict_proba(X)
    546 
    547         if self.n_outputs_ == 1:

/opt/conda/lib/python3.6/site-packages/sklearn/ensemble/forest.py in predict_proba(self, X)
    586         check_is_fitted(self, 'estimators_')
    587         # Check data
--> 588         X = self._validate_X_predict(X)
    589 
    590         # Assign chunk of trees to jobs

/opt/conda/lib/python3.6/site-packages/sklearn/ensemble/forest.py in _validate_X_predict(self, X)
    357                                  "call `fit` before exploiting the model.")
    358 
--> 359         return self.estimators_[0]._validate_X_predict(X, check_input=True)
    360 
    361     @property

/opt/conda/lib/python3.6/site-packages/sklearn/tree/tree.py in _validate_X_predict(self, X, check_input)
    400                              "match the input. Model n_features is %s and "
    401                              "input n_features is %s "
--> 402                              % (self.n_features_, n_features))
    403 
    404         return X

ValueError: Number of features of the model must match the input. Model n_features is 10 and input n_features is 11 

該当のソースコード

# モジュールのインポート
%matplotlib inline
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import StratifiedKFold

# ファイルの読み込み
train = pd.read_csv('../input/titanic/train.csv')
test = pd.read_csv('../input/titanic/test.csv')

corr = train.corr()
sns.heatmap(corr,
           vmin=-1.0,
           vmax=1.0,
           center=0,
           fmt='.1f')

# 特徴量の削除
train.drop('Name', axis=1, inplace=True)
train.drop('Ticket', axis=1, inplace=True)
train.drop('Cabin', axis=1, inplace=True)
train.drop('PassengerId', axis=1, inplace=True)

test.drop('Name', axis=1, inplace=True)
test.drop('Ticket', axis=1, inplace=True)
test.drop('Cabin', axis=1, inplace=True)
test.drop('PassengerId', axis=1, inplace=True)

# 欠損値の確認
print('train' + '\n')
print(train.isnull().sum())
print('\n')
print('test' + '\n')
print(test.isnull().sum())

# 欠損値の補完
train_age_median = train['Age'].median()
train['Age'].fillna(train_age_median, inplace=True)
train['Embarked'].fillna('S', inplace=True)

test_age_median = test['Age'].median()
test['Age'].fillna(test_age_median, inplace=True)
test['Fare'].fillna(test['Fare'].mean(), inplace=True)

# 特徴量の加工、エンコーディング
train['Pclass_1'] = train['Pclass'].apply(lambda x : 1 if x == 1 else 0)
train['Pclass_2'] = train['Pclass'].apply(lambda x : 1 if x == 2 else 0)
train['Pclass_3'] = train['Pclass'].apply(lambda x : 1 if x == 3 else 0)
train.drop('Pclass', axis=1, inplace=True)

train['Embarked_S'] = train['Embarked'].apply(lambda x : 1 if x == 'S' else 0)
train['Embarked_Q'] = train['Embarked'].apply(lambda x : 1 if x == 'Q' else 0)
train['Embarked_C'] = train['Embarked'].apply(lambda x : 1 if x == 'C' else 0)
train.drop('Embarked', axis=1, inplace=True)

# 特徴量をまとめる
train['Familysize'] = train['SibSp'] + train['Parch'] + 1
train.drop('SibSp', axis=1, inplace=True)
train.drop('Parch', axis=1, inplace=True)

train['Sex'].replace({'male' : 0, 'female' : 1}, inplace=True)

# int型にして反転する
train = train.astype(int)
train = train[train.columns[::-1]]

train.head(3)

# 特徴量の加工、エンコーディング
test['Pclass_1'] = test['Pclass'].apply(lambda x : 1 if x == 1 else 0)
test['Pclass_2'] = test['Pclass'].apply(lambda x : 1 if x == 2 else 0)
test['Pclass_3'] = test['Pclass'].apply(lambda x : 1 if x == 3 else 0)
test.drop('Pclass', axis=1, inplace=True)

test['Embarked_S'] = test['Embarked'].apply(lambda x : 1 if x == 'S' else 0)
test['Embarked_Q'] = test['Embarked'].apply(lambda x : 1 if x == 'Q' else 0)
test['Embarked_C'] = test['Embarked'].apply(lambda x : 1 if x == 'C' else 0)
test.drop('Embarked', axis=1, inplace=True)

# 特徴量をまとめる
test['Familysize'] = test['SibSp'] + test['Parch'] + 1
test.drop('Parch', axis=1, inplace=True)

test['Sex'].replace({'male' : 0, 'female' : 1}, inplace=True)

# int型にして反転する
test = test.astype(int)
test = test[test.columns[::-1]]

test.head(3)

# 目的変数と説明変数の定義
x_train = train.loc[:, 'Familysize':'Sex']
y_train = train['Survived']

x_test = test

# グリッドサーチ
from sklearn.model_selection import GridSearchCV

forest = RandomForestClassifier()
# パラメータの候補
pram = {'n_estimators' : [10,100,500,1000],
        'max_depth' : [3,6,12],
        'criterion' : ['gini','entropy'],
        'random_state' : [7]}
# 交差検証を行う
grid_forest = GridSearchCV(forest, pram)
grid_forest.fit(x_train,y_train)
# 最適なパラメータを出力する
grid_forest.best_params_

# モデルの作成
lr = RandomForestClassifier(criterion='gini', max_depth=6, n_estimators=1000, random_state=7)
lr.fit(x_train, y_train)
y_pred = lr.predict(x_test)
y_pred

# 提出できるようにする
sub = pd.DataFrame(pd.read_csv("../input/titanic/test.csv")['PassengerId'])
sub['Survived'] = list(map(int, y_pred))
sub.to_csv("submission.csv", index=False)

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

カラムはPassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarkedです。

Comments

[meg_]

featureの数を合わせれば良いのではないでしょうか？
上記のカラムはモデルのカラムですか？インプットのですか？ それとも元のデータのものですか？

Answer 1

質問への追記・修正の依頼にあるように、エラーメッセージは、モデル（学習）のfeature数が10, 入力（予測）のfeature数が11で一致していないからといっています。
train に対して次の処理がありますが、test ではありません。これがfeature数の違いの原因ではないでしょうか？
train.drop('SibSp', axis=1, inplace=True)
train, test の両方で処理を揃えましょう。データ前処理の関数を定義して、学習データ、予測データに対して呼び出すと、こういった不一致は避けられます。