勾配ブースティングの学習結果f値が変動しない件について

Question

画像データの異常・正常を判断させる目的で、勾配ブースティングを使用して学習させています。決定木の数やその他パラメータを変えてみてもf値に変化がないのは何故でしょうか？
プログラミング初心者ですので不十分な箇所が多々あるかと思いますが、ご教授頂けますと幸いです。

from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import f1_score

X, y = df_concat.iloc[:1248, [0, 2, 3, 4]], df_concat.iloc[:1248, 5]
x_train, x_test, y_train, y_test = train_test_split(X, y,random_state=33)


model= GradientBoostingClassifier(n_estimators=100, learning_rate=1.0, max_depth=1, random_state=0)
model.fit(X, y)
y_pred = model.predict(x_test)


print(f1_score(y_test,y_pred))
0.9925925925925926

Answer 1

気になるところ

• model.fit(X, y)は（train, test含む）全データで学習してしまっています。テストデータも学習してしまっているためテストが意味をなしていません。trainのみで学習し、testで評価しましょう。
• learning_rateが少々高すぎる気がします(0.01とか0.001とかがよくみる値です。）
• max_depth=1は各決定木で一回しか分岐しないことを意味しますが想定通りですか？

このあたりを変更してみて確認してみてください。