機械学習 損失関数について 加算

Question

損失関数は，NNの出力を正解ラベルと比較することで，NNの出力を正解ラベルに近づけられるようにNNのパラメータを調整するもの，と言う認識をしています．

そうであれば，
loss += ...
などどして各エポックごとに損失関数を加算していくのは変ではありませんか？
各エポックごとに個別にパラメータを更新していくべきであるように思えるのですが，多くのネットワークでは加算しているイメージがあります．

なぜ加算するのか，ご教示いただければ幸いです．初歩的な質問で申し訳ありません．

[編集]
こちらに加算しているコードを見つけましたが，私の勘違いのようでした．
加算している train_loss はあくまでもエポック毎のlossの総和を算出するためであり，backwardはエポック毎のlossで計算しています．
ここがごちゃごちゃになってしまっていたのかと思われます．
この認識に間違いはないでしょうか？

Comments

[tiitoi]

どのソースコードを見て言っているのか、URL を貼っていただけますか？

[n_thk72]

NNモデル一般的に…というイメージだったのですが，もしかして，そもそも普通は加算しませんか？
そうであれば自分の勘違いです…なぜかそのようなイメージが根付いてこれまでそのようにコーディングしてしまっていました．

[tiitoi]

普通しないので、もしそのような処理があったのだとしたら、なにか別の目的だと思います。

Answer 1

私の勘違いでした．
お二方ありがとうございました．

Answer 2

PyTorchでMNISTした場合のソースですが、lossは加算していないように見えます。
https://github.com/pytorch/examples/blob/master/mnist/main.py