１年分のデータセットのバリデーションの切り方

Question

1年分のデータセットを機械学習で学習させようと考えています。
この際、未来のデータを使って汎化性能を測らないようにsklearn.model_selection.TimeSeriesSplitを使用しようと考えています。

ただ、この方法だと1月から3月までが最初から訓練データとして選択されている場合、1月から3月までの汎化性能が測れません。

こういった場合、どういったアプローチをとるのが適切なのでしょうか？
系列データとしてそもそも扱わない方が良いのでしょうか？

取り合えず一般的なバリデーションの切り方を色々試した結果で、バリデーションの切り方を決めようと思いますが、如何せん1人で独学中なので周りの方のアプローチ方法を伺いたく思いました。
解決方法も系列データが予測値に対してもつ意味合いによって変わってくるとは思いますが、ご意見いただけると幸いです。

Answer 1

データを時系列でソートしておいて、shuffleなしでKFoldに渡して交差検証すれば4-12月で学習して1-3月でテストとかも含まれることになります。それで良いならそうすればいいと思います。

データの性質によっては、最初からホールドアウトでやった方が適切かもしれません。

Comments

[pea]

回答ありがとうございます。
やってみた感じだと月毎のGroupKFoldが汎化性能を図るのに良さそうでした。