XGBoost 2値分類 .fit() でcallback API が使えません。

Question

Python3.7 XGoostで2値分類機械学習をしていた際、下記のエラーが出ました。

Traceback (most recent call last):
  File "XGBoost_01_20190903.py", line 449, in <module>
    main(X_arr, y_arr)
  File "XGBoost_01_20190903.py", line 48, in main
    callbacks=[xgb.callback.record_evaluation(evals_result)]
TypeError: fit() got an unexpected keyword argument 'callbacks'

PythonのAPIでは、'callbacks'を引数にもつのになぜでしょうか？

fit(X, y, sample_weight=None, eval_set=None, eval_metric=None, early_stopping_rounds=None, verbose=True, xgb_model=None, sample_weight_eval_set=None, callbacks=None)

callbacks (list of callback functions) –
List of callback functions that are applied at end of each iteration. It is possible to use predefined callbacks by using Callback API.
Example: [xgb.callback.reset_learning_rate(custom_rates)]

import sys, random, io, math
import numpy as np
import pandas as pd
from scipy import stats
from scipy.stats import uniform, randint
from sklearn import datasets
import xgboost as xgb
import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import StratifiedKFold
# from xgboost import callback
from sklearn.model_selection import RandomizedSearchCV, cross_val_score
from sklearn.datasets import load_digits
from sklearn.metrics import confusion_matrix, classification_report
from sklearn.metrics import accuracy_score

from matplotlib import pyplot as plt

def main():
    dataset = datasets.load_breast_cancer()
    X, y = dataset.data, dataset.target

    X_train, X_test, y_train, y_test = train_test_split(X, y,
                                                        test_size=0.3,
                                                        shuffle=True,
                                                        random_state=42,
                                                        stratify=y)

    # scikit-learn API を備えた分類器
    clf = xgb.XGBClassifier(objective='binary:logistic',
                            # 'num_boost_round' の代わり
                            # adding 1 estimator per round
                            n_estimators=1000)
    # 学習する
    evals_result = {}
    clf.fit(X_train, y_train,
            # 学習時に用いる検証用データ
            eval_set=[(X_train, y_train),(X_test, y_test)],
            # 学習に使う評価指標
            eval_metric='logloss',
            early_stopping_rounds=10,
            # 学習過程の記録はコールバック API で登録する
            callbacks=[xgb.callback.record_evaluation(evals_result)]
            )

    y_pred = clf.predict(X_test)
    acc = accuracy_score(y_test, y_pred)
    print('Accuracy:', acc)

    # 学習過程の名前は 'validation_{n}' になる
    train_metric = evals_result['validation_0']['logloss']
    plt.plot(train_metric, label='train logloss')
    eval_metric = evals_result['validation_1']['logloss']
    plt.plot(eval_metric, label='eval logloss')
    plt.grid()
    plt.legend()
    plt.xlabel('rounds')
    plt.ylabel('logloss')
    plt.show()

if __name__ == '__main__':
    main()

Comments

[hayataka2049]

エラーの全文と、ライブラリーのバージョンを追記すると回答が得られやすいかと思います。

[kazuo.oku]

ありがとうございます！エラーメッセージ追加しました。

[magichan]

google colaboratory　上で質問のコードを実行してみたところ、問題なく動作しました。
ちなみに、colab での xgboost パッケージは Version 0.90 となっておりました