kerasのBatchNormalizationが正規化してくれない

Question

前提・実現したいこと

google colabolatoryでkerasを使って、cnnを書いています。
Batchnormalizationをモデルの最後に起き、出力を正規化したいです。

発生している問題・エラーメッセージ

モデルの最後をBatchnormalizationにしているのですが、predictの結果が正規化されていませんでした。

該当のソースコード

from keras.datasets import mnist
from matplotlib import pyplot as plt
import numpy as np
from keras.models import Sequential
from keras.layers import Conv2D,normalization


(x_train, y_train), (x_test, y_test) = mnist.load_data()
img = np.array(x_train[:5])

model = Sequential([Conv2D(32,(3,3),padding = 'same',input_shape = (28,28,1)),
                    normalization.BatchNormalization()])
img2 = img.reshape(-1,28,28,1).astype(np.float32)
img2 /= 255

pred = model.predict(img2)
pred.shape
pred_resh = pred.reshape(-1,32)
plt.hist(pred_resh[:,0])

###出力
出力はこんな感じです。モデルの初期値によってやるたびに変わりますが、正規化されないことは毎回同じです。

Answer 1

モデルの最後をBatchnormalizationにしているのですが、predictの結果が正規化されていませんでした。

推論時は学習時に記録しておいた平均 μ 及び標準偏差 σ を使って、(x - μ) / σ を計算するので、出力結果が平均0、分散1になっていなくて正しいです。
以下で batch normalization の仕組みについて確認してください。

Deep LearningにおけるBatch Normalizationの理解メモと、実際にその効果を見てみる - Qiita

出力を正規化したいです。

最終的なモデルの出力を正規化するのが目的であれば、batch normalization をモデルに入れるのではなく、モデルの出力を後から sklearn.preprocessing.scale を使って標準化してください。

Comments

[RN082491X]

回答ありがとうございます。
sklearn.preprocessing.scale を使うと思い描いていた結果が得られました。
ありがとうございます。

少し質問なのですが
このコードの中では学習は行っておらず、
model.layers[1].get_weights()
でBatchNormalizationの重みを見ると、０か１のどちらかになっています。
これを見て、学習していない段階では平均０と標準偏差１の一般的な正規化が行われているはずではないかと思っていたのですが、結果としてはそうなっていません。
これはどのような理由によるものなのかご教示いただけると幸いです。

[tiitoi]

最初は μ=0，σ=1 で初期化し、学習すればこれが移動平均で更新されていきます。
学習していない μ=0，σ=1 のままでは、(X - 0) / 1 = X なのでなにも変換されていない状態になります。

[RN082491X]

なるほど。理解できました、ありがとうございます。
BatchNormalization層がもっていた重みは正規化に使うμとσそのものだったのですね。
k+μやk*σみたいに平均と分散にバイアスがかけられているものだと勘違いしていました。
ありがとうございました。