truncated BPTTについて

Question

truncated BPTTのミニバッチ学習についての質問です。
バッチ数２の時に
２個目のバッチの開始位置をずらします。
バッチ学習とは損失関数を計算するときの負担を減らすために少量に分けるものです。
ニューラルネットワークでのバッチ学習はデータを何個かの組に分けてその組で損失関数を最小にしていき
パラーメータを最適化します。イメージも付きます。
今回のミニバッチ学習はイメージがつきません。
開始位置をずらす意味が分かりません。
truncated BPTTは区切りをつけて逆伝播において勾配が小さくなりすぎないようにするためのものは理解しています。
truncated BPTTのミニバッチ学習はどのような考えでしょうか。
どうか教えてください。

Answer 1

私も詳しくないですが回答がないようなので参考まで
『[ゼロから作るDeep Learning ❷ ―自然言語処理編]』(https://amzn.to/2VoWqTD)
にコード例とともに詳しく書いてあります。

Comments

[assa]

回答ありがとうございました。