estimator should be an estimator implementing 'fit' method,の対処方法

Question

1.質問内容
lightGBMの回帰予測をしています。
GSCVをfitさせようとした時に、下記のエラーが出ます。
estimator should be an estimator implementing 'fit' method,<lightgbm.basic.Booster object at 0x7f3c8651d8d0> was passed
上記をgoogle検索した場合、「LightGBMはこのtrain()方法を使用してトレーニングされているfit()ため、このグリッド検索は使用できない。」
とありました。対処方法として、LGBMRegressorを使用するとありました。しかし、LGBMRegressorでの方法は、うまく回帰できない（（注）今後に使いたい個人データに対しての話ですが、ある説明変数だけに依存していまいます）ので、pythonAPIのLightGBMを使用したいと考えています。
よって、pythonAPIのLightGBM使用時のGSCVの使い方が知りたいです。

2.参考コード

# ライブラリのインポート
import pandas as pd # 基本ライブラリ
import numpy as np # 基本ライブラリ
import matplotlib.pyplot as plt # グラフ描画用
import seaborn as sns; sns.set() # グラフ描画用
import warnings # 実行に関係ない警告を無視
warnings.filterwarnings('ignore')
import lightgbm as lgb #LightGBM
from sklearn import datasets
from sklearn.model_selection import train_test_split # データセット分割用
from sklearn.metrics import mean_squared_error # モデル評価用(平均二乗誤差)
from sklearn.metrics import r2_score # モデル評価用(決定係数)

# データフレームを綺麗に出力する関数
import IPython
def display(*dfs, head=True):
    for df in dfs:
        IPython.display.display(df.head() if head else df)

# Boston データセットの読み込み
boston = datasets.load_boston()
df = pd.DataFrame(boston.data, columns=boston.feature_names) # データフレームへの格納

# データの確認
print(df.shape) # データサイズの確認(データ数,特徴量数(変数の個数))
display(df) # df.head()に同じ(文中に入れるときはdisplay()を使う)

# 説明変数,目的変数
X = df.drop('CRIM',axis=1).values # 説明変数(CRIM以外の特徴量)
y = df['CRIM'].values # 目的変数(CRIM)

# トレーニングデータ,テストデータの分割
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.20, random_state=2)

# 学習に使用するデータを設定
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

# LightGBM parameters
params = {
        'task': 'train',
        'boosting_type': 'gbdt',
        'objective': 'regression', # 目的 : 回帰  
        'metric': {'rmse'}, # 評価指標 : rsme(平均二乗誤差の平方根) 
        'num_iteration': 1000, #1000回学習
        'verbose': 0
}

# モデルの学習
model = lgb.train(params, # パラメータ
            train_set=lgb_train, # トレーニングデータの指定
            valid_sets=lgb_eval, # 検証データの指定
            early_stopping_rounds=100 # 100回ごとに検証精度の改善を検討　→ 精度が改善しないなら学習を終了(過学習に陥るのを防ぐ)
               )

#GSCV
import sklearn 
from sklearn.model_selection import GridSearchCV
tuned_params = {'max_depth': [5, 10, 30], 'num_leaves':[6,12,23], 'min_data_in_leaf': [1,10,20],'learning_rate':[0.05,0.1,0.2]}
gscv = GridSearchCV(model, param_grid=tuned_params,
                    cv=3, scoring='neg_mean_squared_error')
gscv.fit(X_train, y_train)#error発生部分
#パラメーターチューニング後のスコア
params = {
        'task': 'train',
        'boosting_type': 'gbdt',
        'objective': 'regression', # 目的 : 回帰  
        'metric': {'rmse'}, # 評価指標 : rsme(平均二乗誤差の平方根) 
        'num_iteration': 1000, #1000回学習
        'learning_rate':gscv.best_params_['learning_rate'],
        'num_leaves':gscv.best_params_['num_leaves'],
        'min_data_in_leaf':gscv.best_params_['min_data_in_leaf'],
        'max_depth':gscv.best_params_['max_depth'],
        'verbose': 0
}

model = lgb.train(params, # パラメータ
            train_set=lgb_train, # トレーニングデータの指定
            valid_sets=lgb_eval, # 検証データの指定
            early_stopping_rounds=100 # 100回ごとに検証精度の改善を検討　→ 精度が改善しないなら学習を終了(過学習に陥るのを防ぐ)
               )
# 訓練データ、テストデータの予測
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)

# 正解と予測のMSEを計算
print('MSE train: %.2f, test: %.2f' % (
        mean_squared_error(y_train, y_train_pred),
        mean_squared_error(y_test, y_test_pred)))

3.補足情報（FW/ツールのバージョンなど）
開発環境：Google Colaboratory
プログラム言語：python3
OS：windows10 Home
CPU：Intel(R) Core(TM) i7-7500U CPU@2.70GHz 2.90GHz

Comments

[jbpb0]

グリッドサーチではありませんし、質問者さんの用途に合うか分かりませんが、参考までに
https://tech.preferred.jp/ja/blog/hyperparameter-tuning-with-optuna-integration-lightgbm-tuner/

[kouji_39]

optunaの紹介ありがとうございました。
optunaについては、「Kaggleデータ分析入門」（株式会社翔泳社）を持っていたので、そちらでハイパラ調整してみました。一通りは動きましたが、できれば他のXGBoostとCatBoostをグリッドサーチを使ったので、統一したかったのです。参考情報ありがとうございます。