モデルを用いて正しい予測値を求めたい（ボストン市の住宅価格データセット使用）

Question

実現したいこと

モデル（Lasso回帰）を用いて正しいボストン市の住宅価格の予測値を求めたい。

前提

ボストン市の住宅価格データセットを用いて、予測モデルを作ろうとしています。
複数のモデルの精度をRMSEで測定した結果、Lasso回帰が最も良かったので、
最後にLasso回帰を用いた住宅価格の予測値と正当値の関係を散布図で表示したいのですが、
予測値がほとんど負の値で表示されてしまいます。
試行錯誤してみましたが、何が悪いのか全くわかりません。
ご指摘いただければ幸いです。
よろしくお願いいたします。

該当のソースコード

from sklearn import datasets
data = datasets.load_boston()

y=data.target # yにはMEDVが格納されています
x=data.data # xにはMEDV以外の列が格納されています

# 以下にコードを書いてください
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns
import scipy.stats

from sklearn.linear_model import LinearRegression, Lasso, Ridge, ElasticNet
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.preprocessing import StandardScaler

# xとyをデータフレームにまとめる
boston_df = pd.DataFrame(np.column_stack([x, y]),
                         columns=np.r_[data.feature_names, ['MEDV']])

# 相関関係の高い5つの変数を訓練用とテスト用に分割する
x = boston_df[['LSTAT','RM','PTRATIO','INDUS']]
y = boston_df[['MEDV']]
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=0)

# 標準化を行う
scaler = StandardScaler()
scaler.fit(x_train)
x_train_scaled = scaler.transform(x_train)
x_test_scaled  = scaler.transform(x_test)

# 予測精度の高いモデルを探す
min_RMSE = 10
best_model = ''
best_mode_name = ''

models = [
    LinearRegression(),
    Lasso(),
    Ridge(),
    ElasticNet(l1_ratio=0.3)
    ]
    
for model in models :
    model_name = model.__class__.__name__
    model.fit(x_train_scaled, y_train)
    y_test_pred = model.predict(x_test_scaled)
    RMSE = mean_squared_error(y_test, y_test_pred, squared=False)
    print('{} : {}'.format(model_name, RMSE))
    if min_RMSE > RMSE:
        min_RMSE = RMSE
        best_model = model
        best_model_name = model_name

print('ベストモデル名 :', best_model_name)
print('最小二乗平均平方根誤差 :', min_RMSE)

#グラフの描画
y_pred = best_model.predict(x)
fig, ax = plt.subplots()
ax.scatter(y, y_pred, edgecolors=(0, 0, 0))
ax.plot([y.min(), y.max()], [y.min(), y.max()], 'k--', lw=4)
ax.set_xlabel('True')
ax.set_ylabel('Predicted')
plt.show()

散布図

60〜67行目の表示

Comments

[meg_]

> 予測値がほとんど負の値で表示されてしまいます。
> 試行錯誤してみましたが、何が悪いのか全くわかりません。
何を「試行錯誤」されたのか教えてください。質問に追記お願いします。

[avotama]

コメントありがとうございます。
多分、的外れなことをしているのだろうなと思い、試行錯誤の内容をあえて書きませんでした。
申し訳ありません。
やったこととしては、標準化のコードを消してみたり、説明変数を4つに絞るのではなく13個全て使ってみたりしました。
別の方が回答くださったように、予測値を求める際に標準化されたデータを用いる必要があったのですね。
勉強不足でした。
また何かありましたらよろしくお願いいたします。

Answer 1

スケールを合わせる必要があるのではないでしょうか。

    y_pred = best_model.predict(x)
    # =>
    y_pred = best_model.predict(scaler.transform(x))

Comments

[avotama]

大変ありがとうございました。
自分の中では全くの盲点、というか標準化したxを使うという考えもなく、やり方もわかりませんでした。
今回大変勉強になりました。
また何かで質問させていただいた際はよろしくお願いいたします。