pytorch:BatchNorm1dでのaffine=True or False,track_running_stats=True or False の設定の違い

Question

質問内容

pytorchでのclass BatchNorm1dでのaffine=True or False,track_running_stats=True or Falseの設定の違いがpytorchの公式サイトの英文を拝見しても意味がより理解できないため,詳しい方教えていただきたいです.
よろしくお願いいたします.

BatchNorm1d

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

Answer 1

affine

affineは，BatchNorm (BN)におけるアフィン変換のパラメータです．
BNは以下で定義される変換を行うレイヤーです．

この式における γ,β が，アフィン変換のパラメータになります．
詳しくは，論文を読むのが良いと思いますが，表現力を向上させる狙いがあるそうです (https://qiita.com/cfiken/items/b477c7878828ebdb0387)．

track_running_stats

これは，基本的に推論時のBNの挙動を決定するためのパラメータです．
BNは推論時は，入力データの平均と分散ではなく，学習サンプル集合の平均と分散を使用して，正規化します．
そのため，track_running_statsはdefaultのTrueのまま変更しないのが無難でしょう．
Falseにした場合は，学習時と同様に入力データの平均と分散を使用します．

どちらのパラメータもdefaultのTrueのままで問題ないと思います．

Comments

[kyokyo]

ありがとうございます！
とても理解が深まりました！