誤差逆伝播法による重み更新の順序

Question

ニューラル・ネットワークにおける誤差逆伝播法に関して疑問に思った点があるので、質問させて頂きます。

データを入力層に入れて出力結果を得た後、
誤差関数によって誤差を算出し、そこから誤差逆伝播法を用いて重みを更新していきます。
その更新の手順が、具体的にどのような流れなのかを知りたいです。

①.
一度全ての重みを逆方向から徐々に更新した後に、再度 入力層からデータを入れて誤差を算出する。

②.
1つの重みの誤差が0になるまで更新を繰り返した後に、次の重みの更新に移る。

????上記の2つのうち、正しい処理法はどちらなのでしょうか？
教えて頂けませんでしょうか？????

例えば、②の場合は以下のような認識です。

Answer 1

①の逆だと思います。
入力層からデータを入れて誤差を算出したのちに、その誤差を用いて重みを逆方向から徐々に更新していくのが誤差逆伝搬ではないかと思います。

以下のページがとても分かりやすくまとめてありますので参考になればどうぞ
高卒でもわかる機械学習(5)誤差逆伝搬その1

Answer 2

誤差は出力と教師データとの誤差なので重みの誤差が0になるまでというものが存在しません。
重みはあくまでパラメータの一つで、パワメータを調整して出力が教師データのような出力を出すように誤差逆伝播法を使って調整します。

なので①の認識であっていると思います。
ゼロから作るDeepLearningという本があり、数式ではなくグラフで解説しているので入りとしてはおすすめです。