Batch Normalizationに関する基本質問

Question

NNの各Layerの出力はvectorとします(概念的にWight × Height × Channel-Numberのtensorですけれども)

mini batch 単位で正規化された後のLayerの出力Xに対して
更にscale係数γとshift係数βで調整します：

X' = γ * X + β

質問１：γとβはvectorですか、それともscalarでしょうか。

質問２：γとβはmini batch毎に違うのでしょうか。

Answer 1

学習係数　γ　と βは　feature map X と同じ形状で element wiseで計算を行うのは分かった　❗

γ　と βは異なるmini-batchの間で共用変数だが、他の学習parameterと同じ、mini-batch単位(/毎に)で更新されるので、異なるmini-batchの間通常数値が違う。

もっとも、γ　と βがscalarであれば、せいぜい２つのparametersしかないので、γとβの学習意味がない。
それに、batch normalization処理は各本来のfeature mapの後ろに追加されるもので、mini-batchデータ毎に異なる学習変数とするのはNN構造的に不可能 ❗