lightgbmによる回帰予測ができない

Question

lightgbmを使い、回帰予測を行うのが目的です。
Lightgbmプログラムでのエラーメッセージはありません。
しかし、予測データがうまく回帰できません。
ご助言等をお願いいたします。

1.該当コード

python３

# ライブラリのインポート
%matplotlib inline
import lightgbm as lgb
import matplotlib.pyplot as plt
import numpy as np
#from sklearn.ensemble import lightgbmLGBMRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score
import pandas as pd

#データベース関連等のコードについては（略）

#GridSearchのコード
import sklearn 
print(sklearn.__version__) 
from sklearn.model_selection import GridSearchCV
params = {'n_estimators': [10, 50, 100,1000], 'max_depth': [5, 10, 50]}
gb = lgb.LGBMRegressor(random_state=0)
gscv = GridSearchCV(gb, param_grid=params, verbose=1,
                    cv=3, scoring='neg_mean_squared_error')
gscv.fit(X_train, y_train)
gb= lgb.LGBMRegressor(n_estimators=gscv.best_params_['n_estimators'], max_depth=gscv.best_params_['max_depth'], random_state=0)
gb.fit(X_train, y_train)
y_pred2 = gb.predict(X_test)
rf_mse = mean_squared_error(y_test, y_pred2)

# 勾配ブースティング回帰のモデルを作成
model = lgb.LGBMRegressor(n_estimators=gscv.best_params_['n_estimators'],criterion='mse', max_depth=gscv.best_params_['max_depth'],random_state=0)
# モデルの訓練
model.fit(X_train, y_train)
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)

# 残差プロット
plt.figure(figsize=(8,4)) #プロットのサイズ指定
plt.scatter(y_train_pred,  y_train_pred - y_train,
            c='red', marker='o', edgecolor='white',
            label='Training data')
plt.scatter(y_test_pred,  y_test_pred - y_test,
            c='blue', marker='s', edgecolor='white',
            label='Test data')
plt.xlabel('Predicted values')
plt.ylabel('Residuals')
plt.legend(loc='upper left')
plt.hlines(y=0, xmin=-10, xmax=50, color='black', lw=2)
plt.xlim([-10, 50])
plt.tight_layout()
plt.show()

2.プロットデータの出力結果

3.プロットデータの出力結果のコメント
プロットデータの出力結果に見られるように、８～９と１８くらいの２通りしか予測
されていない、波曲線（sinカーブのようなもの）のデータに対してを予測しており、
連続での予測値が出ないとおかしい。

4.補足情報（FW/ツールのバージョンなど）
開発環境：Google Colaboratory
バージョン：python3
OS：windows10 Home
CPU：Intel(R) Core(TM) i7-7500U CPU@2.70GHz 2.90GHz

Answer 1

データセットに問題があるか、以前の実行結果が中途半端に残っていませんでしょうか？ もしくはデータセットとハイパーパラメータの組合せに問題があるのかもしれません。

質問者様のコードの#データベース関連等のコードについては（略）の部分に以下を挿入してみると、WARNINGはたくさん出るものの、正常そうな出力を得ました。よって、回帰のコードそのものは問題無いように思われます。

なお、グリッドサーチ+回帰という複雑なことは、普通の回帰の動作を確認してから取り組んだ方がよいです。

挿入したコード

from sklearn.datasets import load_boston
X, y = load_boston(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, train_size=0.8)

出力結果

追伸

環境問題かと思って、ローカル環境だけではなくColabでも実行してみましたが、問題無く同じ結果を得ました。ColabだとWARNINGは出ないです。

Comments

[kouji_39]

toast-uzさん、回答ありがとうございます。
X_train, X_test, y_train, y_test = train_test_split(X, y, train_size=0.8,random_state＝0)で、
boston住宅価格をやってみました。
MSE train:2.00、test：24.50の結果で、うまく回帰できていました。

他の勾配ブースティングとして、
XGBoostが、MSE train:1.53、test：17.70となり、
CatBoostが、MSE train:0.01、test：22.11となりました。
（CatBoostのtrain誤差が小さくなるようです）

上記の３種類の勾配ブースティングアルゴリズムの比較をしたいのですが、
助言を活かして、シンプルな予測モデルで試行して、ハイパーパラメータ
調整をしていくと今回の不具合の原因がつかめるなと思いました。
今後ともよろしくお願いいたします。

[toast-uz]

確かに、データとハイパラの相性？みたいなものかもですね。続報をお待ちします。

[kouji_39]

引き続き改善方法を探索してみたいです。何か情報があれば、お願いいたします。