【Kaggle】クロスバリデーションでの最終的なテストデータ提出方法について

Question

前提

pythonで機械学習を勉強しており、Kaggleに参加しているものです。

クロスバリデーションを行い、テストデータを予測し予測結果をKaggleに提出する際、
分からなくなってしまったのでご教示頂きたいです。

知りたいこと

・下記コードでのfitとpredictはどのFoldが使われているのか(自動的にベストのもので学習されるのか)
・各Foldの予測値平均を予測結果として提出する方法

知りたいこと

・下記コードの場合、どのFoldで学習しpredictを行っているか(自動的にベストのものが使われるのか)
・各Foldの予測結果平均を最終的な提出物にしたい場合、どのようなコードが必要か

該当のソースコード

ソースコード

test = Kaggleで最終的に予測したいデータだとし、これをpredictしsubmitとします。

Fold = 4

kf = KFold(n_splits=Fold, random_state=123, shuffle=True)
params = { 'objective': 'regression', 'metric': 'rmse'}

  for train_index, val_index in kf.split(x, x.index):
        X_train = x.iloc[train_index]
        X_test = x.iloc[val_index]
        y_train = y.iloc[train_index]
        y_test = y.iloc[val_index]
        
        lgb_train = lgb.Dataset(X_train, y_train)
        lgb_eval = lgb.Dataset(X_test, y_test)
 
        clf = lgb.train(params,
                        lgb_train,
                        valid_sets=lgb_eval,
                        num_boost_round=100,
                       verbose_eval=50)
        
        y_pred = clf.predict(X_test)

submit = clf.predict(test)

ここにより詳細な情報を記載してください。

データの中身についての詳細は割愛させて頂きましたが、
KaggleのHouse Prices - Advanced Regression Techniquesで使ったコードとなります。
pythonのverは最新です。

Answer 1

cross validationは未知データに対する予測精度を評価（推測）するために用いるものであり、
最終的には全データでfitしたモデルを用いるのが普通です。

valid_setsを用いるかどうかはともかく、

lgb_ = lgb.Dataset(X, y)
clf = lgb.train(params,
                        lgb_ ,
                        valid_sets=lgb_eval,
                        num_boost_round=100,
                       verbose_eval=50)
        ```

Comments

[hirorororo]

ご回答頂きありがとうございます。

全データでfitする場合はどのようなコードになるのでしょうか？

[jckkvs]

追記しました