Q&A
[実現したいこと]
訳あってMobileNet_V1をCで実装したい。convolution層,point_convolution層,dw_convolution層等の層は問題なく実装できそうなのだが、当モデルは学習時にBatchNormalization層を通しているので推論時にも同様に入力を正規化する必要があるのでバッチ正規化層を実装したいと考えている。
[わかっていること]
ここでどのように正規化するのかということで、調べてみたところどうやら学習中にバッチ毎に正規化するための平均と標準偏差が決定されており、学習時はバッチ毎に決定されたそれら二つのパラメータを用いて入力を正規化するとのこと。
参考にしたサイトの一つ : https://qiita.com/t-tkd3a/items/14950dbf55f7a3095600
[実現のために知りたいこと]
推論時のバッチ正規化層では入力をどのように正規化しているのか知りたい。推論時(つまりテスト時)には入力はバッチでは来ないはずであり１枚の画像が入力されてテストが行われるはず。学習時ではバッチ毎に決定した平均と標準偏差を用いて各バッチの入力を正規化するのに対して、推論時はどういったパラメータを用いて中間入出力の値を正規化するのか知りたい。
自分の予想では学習データ全体の平均と標準偏差を用いて正規化するのだとふんでいるのだがいまいち確証が持てないので手詰まりになっている。
またPyTorchを用いて学習を行ったのでPyTorchでどのように学習後のモデルから学習によって決定された平均や標準偏差を抽出するか。ということも知りたいです。
どなたか詳しい方がいらっしゃいましたらご教授頂けると幸いです。
すみませんがよろしくお願いいたします。
回答1件
0
ベストアンサー
以下のページがわかりやすいです。
Deep LearningにおけるBatch Normalizationの理解メモと、実際にその効果を見てみる - Qiita
また Pytorch のドキュメントも参考になると思います。
BatchNorm1d — PyTorch 1.6.0 documentation
推論時のバッチ正規化層では入力をどのように正規化しているのか知りたい
入力が (バッチサイズ, N) としたとき、各次元ごとに平均μ_iと標準偏差σ_iを計算し、
x'_i = (x_i - μ_i) / σ_i で平均0、分散1に正規化します。
そして、推論時用に平均と標準偏差を移動平均で更新しながら記録します。
μ'i = (1 - λ) μ'{i - 1} + λ μ_i
σ'i = (1 - λ) σ'{i - 1} + λ σ_i
平均と標準偏差を用いて各バッチの入力を正規化するのに対して、推論時はどういったパラメータを用いて中間入出力の値を正規化するのか知りたい。
学習時に記録しておいたμ'、σ'を使用して、入力データに対して x'_i = (x_i - μ'_i) / σ'_i を同様に適用します。
以上がシンプルな Batch Noramlization ですが、一般的にはこれに加えて標準化後の出力に対して、アフィン変換を行います。(Pytorch の場合は affine=True を指定した場合)
python
1import torch 2 3bn = torch.nn.BatchNorm1d(10) 4 5# 平均、分散の移動平均 6print("mean", bn.running_mean.shape) # 平均 7print("var", bn.running_var.shape) # 分散 8 9# アフィン変換 wX + b のパラメータ (affine=True の場合) 10params = dict(bn.named_parameters()) 11print("w", params["weight"].shape) 12print("b", params["bias"].shape)
Pytorch の CPU 実装は以下です。
投稿2020/08/28 17:25
編集2020/08/28 17:37
総合スコア21956
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/08/29 04:12
2020/08/29 04:16
2020/08/30 16:33