ディープラーニングでの検証データの使いみち

Question

機械学習・深層学習を勉強していると、データを「訓練データ」「検証データ」「テストデータ」に分けることが大事だというのを見かけます。

それぞれ「訓練データ」は学習を行うデータ、「検証データ」はSVMのカーネル関数の定数などのハイパーパラメータを決めるためのデータ、「テストデータ」が学習後のモデルを評価するためのデータ、という役割を持ちますが、ディープラーニングの実装の学習をしていると（勉強不足かも知れませんが）、あまり検証データを使っている実装を見かけません。（訓練データとテストデータのみ）

ディープラーニングでの検証データの使い道はどのようなものがあるのでしょうか？
また、ディープラーニングにおけるニューラルネットワークでは”ハイパーパラメータ”にはどのようなものがあるのでしょうか？

Answer 1

検索して出てきた情報の提供のみの回答となりますが。
先に

ディープラーニングにおけるニューラルネットワークでは”ハイパーパラメータ”にはどのようなものがあるのでしょうか？

については【初心者】機械学習の〇〇データが分からない【図解】のハイパーパラメータって？

ニューラルネットワークだと、ニューロンの数や層の数、学習回数や学習係数などがハイパーパラメータに当たります。

ディープラーニングでの検証データの使い道はどのようなものがあるのでしょうか？

については同じく【初心者】機械学習の〇〇データが分からない【図解】の検証データの使い方

検証データは、ハイパーパラメータの調整 をするために使います。

（略）

ハイパーパラメータは私たちが適切な値に設定しなければ、性能の悪いモデルになってしまいます。

さらに

What is the Difference Between Test and Validation Datasets?

Importantly, Russell and Norvig comment that the training dataset used to fit the model can be further split into a training set and a validation set,

(略)

that can be used to get an early estimate of the skill of the model.

意訳：検証データによって、あるハイパーパラメータを採用したモデルの性能を素早く見極めることができます。

という理解でよいかと思います。

Answer 2

ディープラーニングでの検証データの使い道

MNISTでハイパーパラメータをいじってloss/accuracyグラフを見てみる
のグラフのオレンジ色の線が、検証(validation)データを使って算出されたものです

あまり検証データを使っている実装を見かけません。

ディープラーニングの学習を解説してる記事等では、上記Webページのように、学習過程のlossやaccuracyの学習データと検証データの違いを使って、「過学習」に付いて説明してることがあります

そのようにして「過学習」にならずにうまく学習できてるかの判断をすることは、一般的によく行われてると思います

　

ニューラルネットワークでは”ハイパーパラメータ”にはどのようなものが

いろいろありますが、たとえば
Optuna+KerasでCNNのハイパーパラメータを最適化
の「CNNのハイパーパラメータの探索」に書かれてるものや、
Kerasで書いたDLモデルをOptunaでハイパーパラメータ最適化(1)
の「ダーツ評価モデルの場合」に書かれてるものがそうです