ニューラルネットワーク 各エポックごとの重み更新について詳しく知りたい

Question

前提（認識）・質問

現在私は、ニューラルネットワークの回帰分析を行っています。その中で行われるニューラルネットワークの重み更新について、ざっくりですが私は以下のように解釈しております。
**（１）**訓練データを学習させ、重み(W1)を決める
**（２）**テストデータに重み(w1)をかけ計算を行い予測値を出す．次に予測値と正解値の誤差を求める(1エポック目)
**（３）**その誤差が小さくなるように重みを調整、新たな重み(W2)を決める
以降(2),(3)を繰り返す

分かりづらい文章で申し訳ないですが、そもそもこの認識は正しいのでしょうか。
また、あっている場合いくつかの疑問点があります。
疑問1
「エポックは一つの訓練データを何回繰り返し学習させるか」と説明されているサイトがありました。
この考えに基づくと（３）において、1エポック目の結果(誤差)から重みの最適値を予測し、訓練データの学習を行いながら再度重みを調整するのでしょうか。

疑問2
もし疑問1のエポックの考え方が正しい場合、
2エポック目以降、テストデータの予測結果を踏まえた上で訓練データの学習を行っていると考えると、テストデータをカンニングしていることになりませんか。
これは正しい学習といえるのでしょうか。

勉強不足であることはわかっていますが、重み更新について疑問が残るばかりであるため、詳しく教えていただけると嬉しいです。

Answer 1

テストデータをカンニングしていることになりませんか。

テストデータはモデルの汎化性能を学習中に算出したい場合は使いますが、その誤差を重み調整には使いません。重み調整に使う誤差はあくまで訓練データとその正解データとの誤差です。

なので、

- （２）テストデータに重み(w1)をかけ計算を行い予測値を出す．
+ （２）訓練データに重み(w1)をかけ計算を行い予測値を出す．

Comments

[TA_88]

回答ありがとうございます。
その場合、一番最初(1エポック目)の重みはどのように決めるのでしょうか。

[tiitoi]

最初は重みの値はランダムな値で初期化します。
ランダムといっても一様分布の乱数以外にもいろいろな初期化方法があります。
Keras や Pytorch のようなフレームワークは重みの初期化方法を指定するような機能があります。

[TA_88]

ありがとうございます。
とても分かりやすく理解することができました。
最後に一つだけ質問なのですが、フレームワークで初期化方法を指定しない場合は、自動的に一様分布の乱数で初期化されるのでしょうか。

[tiitoi]

それはフレームワークの仕様によります。
デフォルトがなんであるから使用するフレームワークのドキュメントに書いてあるのではないでしょうか。

[TA_88]

わかりました。確かめてみます。
多くの質問に答えてくださりありがとうございます。