PythonでのlightGBMの実装の際にevals_resultのエラー,XGBoost

Question

以下サイトを参考にlightGBMの実装を検討しています。
https://watlab-blog.com/2020/04/12/light-gbm/

ですが，LightGBMのハイパーパラメータの設定の際にevals_resultで文法エラーとなります。

#インポート
import lightgbm as lgb
from sklearn import datasets
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import GridSearchCV

#############################################################################################

# ファイルの読み込みおよびN/Aの削除
df9 = pd.read_csv(path1, header = 0, index_col = 0, encoding='shift-JIS') 
df8 = df9.dropna() 

# 分類するクラスの種類と数を確認
df8['evaluation'].value_counts()

# 訓練用とテスト用に7:3で分割
train_x = df8.drop(['evaluation'], axis=1)
train_y = df8['evaluation']
(train_x, test_x ,train_y, test_y) = train_test_split(train_x, train_y, test_size = 0.3)


# LightGBMにデータセットを登録
lgb_train = lgb.Dataset(train_x, train_y)
lgb_test = lgb.Dataset(test_x, test_y, reference=lgb_train)


# LightGBMのハイパーパラメータを設定
params = {'task': 'train',              # タスクを訓練に設定
          'boosting_type': 'gbdt',      # GBDTを指定
          'objective': 'multiclass',    # 多クラス分類を指定
          'metric': {'multi_logloss'},  # 多クラス分類の損失（誤差）
          'num_class': 4,               # クラスの数（irisデータセットが3個のクラスなので）
          'learning_rate': 0.1,         # 学習率
          'num_leaves': 21,             # ノードの数
          'min_data_in_leaf': 3,        # 決定木ノードの最小データ数
          'num_iteration': 100}         # 予測器(決定木)の数:イタレーション


# LightGBMで訓練する
lgb_results = {}                                    # 学習の履歴を入れる入物
model = lgb.train(params=params,                    # ハイパーパラメータをセット
                  train_set=lgb_train,              # 訓練データを訓練用にセット
                  valid_sets=[lgb_train, lgb_test], # 訓練データとテストデータをセット
                  valid_names=['Train', 'Test'],    # データセットの名前をそれぞれ設定
                  num_boost_round=100,              # 計算回数
                  early_stopping_rounds=10)        # アーリーストッピング設定  
                  evals_result=lgb_results)         # 履歴を保存する 

# 結果を抽出する
loss_train = lgb_results['Train']['multi_logloss']  # 訓練誤差
loss_test = lgb_results['Test']['multi_logloss']    # 汎化誤差
best_iteration = model.best_iteration               # 最良の予測器が得られたイタレーション数
print(best_iteration)

############################################################################################

# グラフ描画
import lightgbm as lgb
from sklearn import datasets
from sklearn.model_selection import train_test_split
import pandas as pd
from matplotlib import pyplot as plt

解決策をご存じの方いましたらご教示いただけますと幸いです。

Answer 1

lgb.trainメソッドにおいてearly_stopping_roundsの指定のあとにカッコで閉じているのが原因かと思います。
カンマ(,)に修正すればおそらく動くと思います。

model = lgb.train(params=params,                    
                  train_set=lgb_train,              
                  valid_sets=[lgb_train, lgb_test], 
                  valid_names=['Train', 'Test'],    
                  num_boost_round=100,              
                  early_stopping_rounds=10) # ←←←←←ココ
                  evals_result=lgb_results)         

質問の趣旨と異なりますが他に気になった点として以下があります。
0. paramsを指定しているコードで{'multi_logloss'}の波括弧は不要。warningが出ます
0. num_iterationとnum_boost_roundは同様に木の数の指定なので重複している気がします

2に関しては公式ドキュメント確認しました。
https://lightgbm.readthedocs.io/en/latest/Parameters.html

Comments

[afawnelfksaugj]

ご回答ありがとうございます。
当方初心者で，見逃している点もあったようで，他の至らない点までご指摘いただき感謝申し上げます。