Kaggle 提出の仕方 データの書き換え

Question

kaggleのHousepricesを利用しています
重回帰分析を利用してます。kaggleへ提出するのですが、このあとのプログラムが分からないので教えていただきたいです。
Python学習して数週間の初心者のため、
分かりやすく教えていただけたら幸いです。

該当のソースコード

# This Python 3 environment comes with many helpful analytics libraries installed
# It is defined by the kaggle/python Docker image: https://github.com/kaggle/docker-python
# For example, here's several helpful packages to load

import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)

# Input data files are available in the read-only "../input/" directory
# For example, running this (by clicking run or pressing Shift+Enter) will list all files under the input directory

import os
for dirname, _, filenames in os.walk('/kaggle/input'):
    for filename in filenames:
        print(os.path.join(dirname, filename))

# You can write up to 5GB to the current directory (/kaggle/working/) that gets preserved as output when you create a version using "Save & Run All" 
# You can also write temporary files to /kaggle/temp/, but they won't be saved outside of the current session

#データ加工・処理・分析ライブラリ
import numpy as np
import numpy.random as random
import scipy as sp
import pandas as pd


#可視化ライブラリ
import matplotlib.pyplot as plt
import matplotlib as mp1
import seaborn as sns
%matplotlib inline

#機械学習ライブラリ
import sklearn
import sklearn.preprocessing as pp
import sklearn.model_selection as ms
import sklearn.metrics as metrics
import json

from sklearn import linear_model
from matplotlib import pyplot as plt
from sklearn.metrics import mean_squared_error
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import (
    LinearRegression,
    Ridge,
    Lasso
)
#少数第3位まで表示
%precision 3

#データの読み込み
train = pd.read_csv('../input/house-prices-advanced-regression-techniques/train.csv') #テストデータ
test = pd.read_csv('../input/house-prices-advanced-regression-techniques/test.csv') #訓練データ
alldata = pd.concat([train,test],axis=0).reset_index(drop=True)
print("Train data shape:",train.shape)
print("Test data shape:",test.shape)

#物件の広さを合計した変数を作成
train["TotalSF"] = train["GrLivArea"] + train["GarageArea"] + train["TotalBsmtSF"] + train["1stFlrSF"] + train["2ndFlrSF"] 
test["TotalSF"] =  test["GrLivArea"] + test["GarageArea"] + test["TotalBsmtSF"]+test["1stFlrSF"] + test["2ndFlrSF"] 

#今回使うSalePriceとTotalSFのみのデータに置き換える
train = train[["SalePrice","GrLivArea","GarageArea","TotalBsmtSF","1stFlrSF","2ndFlrSF"]]

#データ分割（訓練データとテストデータ）のためのインポート
from sklearn.model_selection import train_test_split

#重回帰のモデル構築のためのインポート
from sklearn.linear_model import LinearRegression

#目的変数にSalePriceを指定、説明変数にそれ以外を指定
X = train.drop("SalePrice",axis=1)
y = train["SalePrice"]

#訓練データとテストデータに分ける
train_X,test_X,train_y,test_y = train_test_split(X,y,test_size=0.5,random_state=0)

train_X.head()

#重回帰クラスの初期化と学習
model = LinearRegression()
model.fit(train_X,train_y)


#決定係数を表示
print('決定係数(train):{:.3f}'.format(model.score(train_x,train_y)))
print('決定係数(test):{:.3f}'.format(model.score(test_x,test_y)))

#回帰係数と切片を表示
print('\n回帰係数\n{}'.format(pd.Series(model.coef_,index=X.columns)))
print('切片:{:.3f}'.format(model.intercept_))

Answer 1

まず現状のコードですが、「テストデータ」はあくまでも test.csv から読み込んだデータですので、

#訓練データとテストデータに分ける
train_X,test_X,train_y,test_y = train_test_split(X,y,test_size=0.5,random_state=0)

の部分で訓練データから分割したデータは「テストデータ」ではなく「検証データ」(valification data) などとしておいたほうが混乱がなくてよいでしょうね。

ですので上記の箇所は

#訓練データと検証データに分ける
train_X,val_X,train_y,val_y = train_test_split(X,y,test_size=0.5,random_state=0)

としておいたほうが良いかと思います。併せて

#決定係数を表示
print('決定係数(train):{:.3f}'.format(model.score(train_X,train_y)))
print('決定係数(test):{:.3f}'.format(model.score(test_X, test_y)))

の部分も書き換える必要があります。

あとは、訓練済みのモデルにテストデータを入れて予測するだけです。

# 元のテストデータ から test_X を生成
test_X = test[["GrLivArea","GarageArea","TotalBsmtSF","1stFlrSF","2ndFlrSF"]]

# test_X に nan があるので処理する（何かしらの値に変換する）
# ここでは仮に 0 に変換しておきます。
test_X = test_X.fillna(0)

# test_y を予測する
test_y = model.predict(test_X)

# 元のテストデータに上記の結果を格納する
test['SalePrice'] = model.predict(test_X)

# 表示
test.head()

結果が求まったら、

test[['Id', 'SalePrice']].to_csv('submission.csv', index=False)

のようにして、データより 'Id'列と'SalePrice'列のみの CSVファイルを書き出して提出するとよいと思います。

Comments

[Canchan]

# test_y を予測する
test_y = model.predict(test_X)
の部分で以下のようなエラーが出ました

matmul: Input operand 1 has a mismatch in its core dimension 0, with gufunc signature (n?,k),(k,m?)->(n?,m?) (size 6 is different from 5)

[magichan]

test_X は学習時(fit)の train_Xと同じ形式（列数が同じ）になっている必要があります。
train_X は
train = train[["SalePrice","GrLivArea","GarageArea","TotalBsmtSF","1stFlrSF","2ndFlrSF"]]
のあと、
X = train.drop("SalePrice",axis=1)
にて 作られておりますので結果５列のデータ。
対して　test_X は
test_X = test[["GrLivArea","GarageArea","TotalBsmtSF","1stFlrSF","2ndFlrSF"]
で作成しておりますので、同じ５列のデータなので、今回のエラーは起こりえません。

[magichan]

にもかかわらず、エラーにて
(size 6 is different from 5)
と、６列のデータを・・と言っているので、学習時に質問に書かれたコードとは違い６列のデータを使ったのではないでしょうか？

[Canchan]

解決しました。

ちなみに
#今回使うSalePriceとTotalSFのみのデータに置き換える
train = train[["SalePrice","GrLivArea","GarageArea","TotalBsmtSF","1stFlrSF","2ndFlrSF"]]

これに"OverallQual"を足していたためエラーになっていました。
ちなみにこれを足した場合はどこを書き換えれば実行されますか？

[magichan]

X_test もこれと同じ列の並び（ただし "SalePrice" は結果なのでのぞく）にするとよいだけなので
test_X = test[["GrLivArea","GarageArea","TotalBsmtSF","1stFlrSF","2ndFlrSF","OverallQual"]
（列の順番はそろえること）
のようにするとよいのではないでしょうか

[Canchan]

すべて解決しコミットできました。
ご丁寧にありがとうございました。