im2colの動作 畳み込みニューラルネットワーク

Question

ゼロから作るDeeplearningにあるim2colを用いて,CNNを実装しているのですが, うまく行かない部分があり質問しました。
CNNは, 入力(チャネル数1, 28×28)→畳み込み層1(フィルタ9×9, ストライド1)→畳み込み層2(フィルタ9×9, ストライド2)→全結合層
各畳み込み層はフィルタ数5枚を想定しています。
入力x[6,1,28,28]は, MNISTを想定して縦横28×28, チャネル数1の白黒画像を6枚用意します。
畳み込み層1では, 9×9のフィルタ5枚をストライド1, パディング0で畳み込み, 5×20×20の特徴マップを作製します。
畳み込み層2では, 9×9のフィルタ5枚をストライド2, パディング0で畳み込み, 5×6×6の特徴マップを作製します。
最期に全結合層での出力を行い, 逆伝搬により重みの修正を行います。

順伝搬のプログラムを実行すると下のエラーが出てしまいます。
ValueError: shapes (216,405) and (81,5) not aligned: 405 (dim 1) != 81 (dim 0)
エラーを回避するためには, 画像を一枚づつとフィルタを1枚ずつforで計算しながらしなければエラー回避できず, それではcol2imのメリットがなくなってしまいます。
下記プログラムの問題はどこにあるのでしょうか？

import numpy as np

def im2col(input_data, filter_h, filter_w, stride_h=1, stride_w=1, pad_h=0, pad_w=0):

    N, C, H, W = input_data.shape
    out_h = (H + 2*pad_h - filter_h)//stride_h + 1
    out_w = (W + 2*pad_w - filter_w)//stride_w + 1

    img = np.pad(input_data, [(0,0), (0,0), (pad_h, pad_h), (pad_w, pad_w)], 'constant')
    col = np.zeros((N, C, filter_h, filter_w, out_h, out_w))

    for y in range(filter_h):
        y_max = y + stride_h*out_h
        for x in range(filter_w):
            x_max = x + stride_w*out_w
            col[:, :, y, x, :, :] = img[:, :, y:y_max:stride_h, x:x_max:stride_w]

    col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N*out_h*out_w, -1)
    return col, out_h, out_w 

def col2im(col, input_shape, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_shape
    out_h = (H + 2*pad - filter_h)//stride + 1
    out_w = (W + 2*pad - filter_w)//stride + 1
    col = col.reshape(N, out_h, out_w, C, filter_h, filter_w).transpose(0, 3, 4, 5, 1, 2)

    img = np.zeros((N, C, H + 2*pad + stride - 1, W + 2*pad + stride - 1))
    for y in range(filter_h):
        y_max = y + stride*out_h
        for x in range(filter_w):
            x_max = x + stride*out_w
            img[:, :, y:y_max:stride, x:x_max:stride] += col[:, :, y, x, :, :]

    return img[:, :, pad:H + pad, pad:W + pad]

#入力
x = np.arange(6*1*28*28).reshape(6,1,28,28)

#フィルタ
w = np.arange(5*9*9).reshape(5,9,9)

#入力2次元化
col_x,out_h,out_w = im2col(x,9,9,1,1,0,0)#入力, フィルタサイズ9, ストライド1

#1層目フィルタ2次元化
col_w = w.reshape(5,-1).T

#1層目畳み込み計算
conv1_col = np.dot(col_x, col_w)

#1層目畳み込み層変換
conv1 = conv1_col.reshape(x.shape[0], out_h, out_w, -1).transpose(0, 3, 2, 1)


#2層目フィルタ
w2 = np.arange(5*9*9).reshape(5,9,9)

#2層目フィルタ2次元化
col_w2 = w.reshape(5,-1).T

#2層目畳み込み計算(2次元)
input_col,out_h,out_w = im2col(conv1,9,9,2,2,0,0)
conv2_col = np.dot(input_col, col_w2)
conv2 = conv2_col.reshape(conv1.shape[0], out_h, out_w, -1).transpose(0, 3, 2, 1)

#全結合層重み
w_affine = np.random.rand(6*6*5,10)

#全結合層出力
z = conv.reshape(-1)
y = np.dot(z,w_affine)

Answer 1

2層目フィルタのw2の形状が間違っているみたいです。
2層目は1層目のフィルタ5枚の結果に対してフィルタ5枚を適用するので、5x5x9x9になります。

#2層目フィルタ
w2 = np.arange(5*5*9*9).reshape(5,5,9,9)

#2層目フィルタ2次元化
col_w2 = w2.reshape(5,-1).T

また、最後の全結合層出力は画像6枚のバッチ処理なので、バッチサイズに合わせてzの形状を変える必要があるかと思います。

#全結合層出力
z = conv2.reshape(conv2.shape[0], -1)
y = np.dot(z,w_affine)

Comments

[redcatML]

回答ありがとうございます。
w2のフィルタサイズは、5*5*9*9になるのですね。
1層目のフィルタと同じ次元になるものだと勘違いしていました。
フィルタの形状を変えたところうまく動きました。ありがとうございました。

[segavvy]

お役に立てたようでよかったです！