機械学習のensemble LearningにおけるOOF(out of fold)は学習時のどこで発生するもの?

Question

機械学習手法の精度向上について勉強しております。

分類器の結果を組み合わせるEnsemble Learningについて勉強しているのですが、

**OOF (Out of Fold)**とは、k-Fold などでデータを分割した際に学習に使わなかったデータを指すことがわかりました。

しかし、hold-out法やKfoldによるcross_validationなどをみていくと、"重複なく"データ分割を分割しているのですが、どこに out_of_foldが存在するのでしょうか。

model.fitを行う際に、学習に用いたデータすべてをもちいて学習していない、DeeplearningにおけるDropOutのようにモデルを構築する際に学習に用いなかった部分が存在しており、それをOOFと呼ぶと捉えてよろしいのでしょうか。

OOFがどこで発生していくものなのか調べているのですが、わからず。曖昧な質問で申し訳ありません。

Answer 1

kaggleにOOFをOUTPUTするプログラムが記載されていたため参考に載せさせていただきました。
random_forestのout_of_bag同様にKfoldのcrossvalidationで重複なくデータをfoldに分けて交差検証を行う際にもout_of_foldのようなデータ数がある程度存在するということなんだとは理解できました。
titanicの生存者データなどで以下のプログラムを出力すると0.3前後の数値となります。それが高いのか低いのか不明ですが、、、、
数学的な知識を含めて知識が追いつかず、詳細については記載できず、すみません。
もう少し調べてみます。

質問を閲覧して頂いた方々、ありがとうございます。

Use Scikit Learn's cross_val_predict to do a Out-of-Fold Cross validation as opposed 
to averaging out the scores on each fold.
This **usually** tends to be more stable/reliable compared to within fold average.
This script works for all Scikit Learn models as well as the Scikit Learn APIs of
XGBoost, LightGBM and Keras.



"""
import numpy as np 
import pandas as pd 
from xgboost import XGBRegressor
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import cross_val_predict
# Read Data
print("Reading Dataset...")
train = pd.read_csv("../input/train.csv")
target = np.array(train["target"])
target_log = np.log1p(target) # Log transform target as the evaluation metric uses it
xtrain = np.array(train.iloc[:,2:])
print("Shape of training data: {}".format(np.shape(xtrain)))
# Define Model 
xgb_model = XGBRegressor(max_depth=6, learning_rate=0.1, n_estimators=70,
                         min_child_weight=100, subsample=1.0, 
                         colsample_bytree=0.8, colsample_bylevel=0.8,
                         random_state=42, n_jobs=4)
# Make OOF predictions using 5 folds
print("Cross Validating...")
oof_preds_log = cross_val_predict(xgb_model, xtrain, target_log, cv=5, 
                                  n_jobs=1, method="predict")
                                  
# Calculate RMSLE (RMSE of Log(1+y))
cv_rmsle = np.sqrt(mean_squared_error(target_log, oof_preds_log))
print("\nOOF RMSLE Score: {:.4f}".format(cv_rmsle))



貼り付け元  <https://www.kaggle.com/adarshchavakula/out-of-fold-oof-model-cross-validation>
コード