機械学習 本番での運用パラメータについて

Question

機会学習の本番環境といいますか実際運用する際のパラメータについて質問です。

XGBoostの実運用時のパラメータの採用はどの様に行うのが良いでしょうか?

XGBClassifierで0,1の分類を行っており調整にoptunaを利用しています。

パラメータ参考

※optunaで調整したパラメータ
Aデータを80:20と95:5で分けた場合のパラメータ
80:20
{'n_estimators': 477, 'max_depth': 8, 'min_child_weight': 6, 'learning_rate': 0.004, 'scale_pos_weight': 1, 'subsample': 0.8, 'colsample_bytree': 0.8}
95:5
{'n_estimators': 595, 'max_depth': 5, 'min_child_weight': 8, 'learning_rate': 0.003, 'scale_pos_weight': 1, 'subsample': 0.9, 'colsample_bytree': 0.6}

Bデータを80:20と95:5で分けた場合のパラメータ
80:20
{'n_estimators': 854, 'max_depth': 13, 'min_child_weight': 2, 'learning_rate': 0.009000000000000001, 'scale_pos_weight': 49, 'subsample': 0.8, 'colsample_bytree': 0.8}
95:5
{'n_estimators': 528, 'max_depth': 8, 'min_child_weight': 1, 'learning_rate': 0.008, 'scale_pos_weight': 46, 'subsample': 0.8, 'colsample_bytree': 0.8}

Cデータを80:20と95:5で分けた場合のパラメータ
80:20
{'n_estimators': 361, 'max_depth': 12, 'min_child_weight': 4, 'learning_rate': 0.005, 'scale_pos_weight': 1, 'subsample': 0.9, 'colsample_bytree': 0.8}
95:5
{'n_estimators': 469, 'max_depth': 12, 'min_child_weight': 6, 'learning_rate': 0.005, 'scale_pos_weight': 1, 'subsample': 0.9, 'colsample_bytree': 0.7}

###質問詳細
データを80:20 と 95:5 で比較した時に正解率が高いパラメータを採用した方がいいのでしょうか?

95:5の方がよりtrainデータを学習出来ているので良い様な気もするのですが、しかし80:20の方がtestデータを多く検証出来ているので安定しているのかなーと考えたり。。。

おススメの実運用時のパラメータ調整方法など御座いましたら教えて頂けると幸いです。

▼環境など
Windows 10
python 3.7
機械学習 XGBoost

Answer 1

一般的にデータをtrain/validation/test用に分けて、trainとvalidationで訓練・チューニングし、testでモデル選定するのが良いのではないでしょうか。汎化性能をみる必要があります。

Comments

[aws]

ご回答ありがとうございます。

なるほど今迄validationを利用した事が無かったので活用してみます。