回答編集履歴

  これは「Moving Average」と呼びます。

  結果は保存して、推論段階に利用されます。

  推論段階にはbatchは必須でないので、sampleの正規化は必要だが、正規化パラメータは訓練段階得たのをそのまま利用するだけです。