深層学習で検証データを訓練データに徐々に追加するのは、リークすることになりますか？

Question

現在時系列データに対して深層学習プログラムを適用しています。
作成したモデルは、訓練データと検証データに分けたあと、訓練データによって作成した深層学習モデルを、全ての検証データに当てはめることで結果を出力しています。

ここで私は、検証データの中で、予測し終わったものから訓練データへ順次追加させ、新たに深層学習モデルを構築し、検証データの次の時点を予測するというモデルの方が、時系列データでは効力を発揮してくれるのではないか？と思いました。

しかし、これではエポックを重ねるにつれて、検証データによって更新された重みにより、リークしてしまうのではないか？と思い不安になりました。

深層学習で検証データを訓練データに徐々に追加していくことは可能なのでしょうか？

Answer 1

可能です。

時系列データについて、どのように訓練データと検証データを分割すべきかは、特有のノウハウがあります。ご質問のような、検証データを次の訓練に使い回すことも、ノウハウの１つとして存在するようです。

詳細は、書籍「Kaggleで勝つデータ分析の技術」にて丁寧に解説されています。ここでいろいろ書きすぎると著作権上よろしくありませんので、説明は割愛します。上記リンクから細かい目次が参照できますが、5.3 時系列データのバリデーション手法 に非常に詳しく解説されています。