keras、パラメータの数

Question

kerasで以下のようなCNNアーキテクチャを作ります。

model = Sequential()

model.add(Conv2D(filters = 32, kernel_size = (5,5), padding = 'same', activation ='relu', input_shape = (28,28,1)))
model.add(Conv2D(filters = 32, kernel_size = (5,5), padding = 'same', activation ='relu'))
model.add(MaxPool2D(pool_size=(2,2)))
model.add(Dropout(0.25))


model.add(Conv2D(filters = 64, kernel_size = (3,3), padding = 'same', activation ='relu'))
model.add(Conv2D(filters = 64, kernel_size = (3,3), padding = 'same', activation ='relu'))
model.add(MaxPool2D(pool_size=(2,2), strides=(2,2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(256, activation = "relu"))
model.add(Dropout(0.25))
model.add(Dense(10, activation = "softmax"))

この時、model.summaryを見ると

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_1 (Conv2D)            (None, 28, 28, 32)        832       
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 28, 28, 32)        25632     
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 14, 14, 32)        0         
_________________________________________________________________
dropout_1 (Dropout)          (None, 14, 14, 32)        0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 14, 14, 64)        18496     
_________________________________________________________________
conv2d_4 (Conv2D)            (None, 14, 14, 64)        36928     
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 7, 7, 64)          0         
_________________________________________________________________
dropout_2 (Dropout)          (None, 7, 7, 64)          0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 3136)              0         
_________________________________________________________________
dense_1 (Dense)              (None, 256)               803072    
_________________________________________________________________
dropout_3 (Dropout)          (None, 256)               0         
_________________________________________________________________
dense_2 (Dense)              (None, 10)                2570      
=================================================================
Total params: 887,530
Trainable params: 887,530
Non-trainable params: 0
_________________________________________________________________

となります。ここで質問なのですが、conv2D_1のパラメータ数は、

832=((5*5)+1)*32

でわかるのですが、conv2D_2のパラメータ数が

((5*5)+1)3232=26624

ではなく25632となっているのはなぜでしょうか？自分の考え方としては、conv2D_1でできた32枚の特徴マップに対し、55の32枚のフィルターを適用するのでバイアス項を考えて,各特徴マップに対し((55)+1)32のパラメータが入り、それが32枚なので((55)+1)3232=26624と考えました。

Answer 1

バイアスを数え間違えています。
model.layers[1].weightsを確認するといいですよ。

TensorFlowバックエンドで実行しているなら

[<tf.Variable 'conv2d_2/kernel:0' shape=(5, 5, 32, 32) dtype=float32_ref>,
 <tf.Variable 'conv2d_2/bias:0' shape=(32,) dtype=float32_ref>]

とでてくると思います。

バイアスはfilters引数分ですね。

Comments

[nouken]

回答ありがとうございます！確認なのですが、conv2D_2のフィルターは三次元（5, 5, 32)でありそれが32枚あるから5*5*32*32、バイアスは各フィルターに一つなので32ということでよろしいでしょうか？？

[quickquip]

そうなりますね。