LSTM の stateful stateless の違い

Question

KerasのステートレスLSTMとステートフルLSTMの違いについて
を参考にして、stateful stateless なLSTMの違いについてなんとなく理解しました。

しかし、バッチサイズが学習データと同じサイズ(例：学習データ1000個に対してバッチサイズ1000)
の場合、statefulでもstatelessでもバッチが一つしかないのでやっていることは同じになると思ったのですが、
この解釈であっていますでしょうか？

分かる方ご回答お願い致します。