ConvNetの重み更新エラー

Question

ゼロから作るDeeplearningにあるim2colを用いて,CNNを実装しているのですが, うまく行かない部分があり質問しました。
CNNは, 入力(チャネル数1, 28×28)→畳み込み層1(フィルタ9×9, ストライド1)→畳み込み層2(フィルタ9×9, ストライド2)→全結合層
各畳み込み層はフィルタ数5枚を想定しています。

入力x[6,1,28,28]は, MNISTを想定して縦横28×28, チャネル数1の白黒画像を6枚用意します。
畳み込み層1では, 9×9のフィルタ5枚をストライド1, パディング0で畳み込み, 5×20×20の特徴マップを作製します。
畳み込み層2では, 9×9のフィルタ5枚をストライド2, パディング0で畳み込み, 5×6×6の特徴マップを作製します。

最期に全結合層での出力を行い, 逆伝搬により重みの修正を行います。

逆伝搬のプログラムを実行すると重みの更新部分でエラーが出てしまいます。
重みフィルタのサイズが誤っているのでしょうか？

下記、プログラムで誤りのある箇所があれば教えていただきたいです。
よろしくお願いします。

import numpy as np

def im2col(input_data, filter_h, filter_w, stride_h=1, stride_w=1, pad_h=0, pad_w=0):

    N, C, H, W = input_data.shape
    out_h = (H + 2*pad_h - filter_h)//stride_h + 1
    out_w = (W + 2*pad_w - filter_w)//stride_w + 1

    img = np.pad(input_data, [(0,0), (0,0), (pad_h, pad_h), (pad_w, pad_w)], 'constant')
    col = np.zeros((N, C, filter_h, filter_w, out_h, out_w))

    for y in range(filter_h):
        y_max = y + stride_h*out_h
        for x in range(filter_w):
            x_max = x + stride_w*out_w
            col[:, :, y, x, :, :] = img[:, :, y:y_max:stride_h, x:x_max:stride_w]

    col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N*out_h*out_w, -1)
    return col, out_h, out_w 

def col2im(col, input_shape, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_shape
    out_h = (H + 2*pad - filter_h)//stride + 1
    out_w = (W + 2*pad - filter_w)//stride + 1
    col = col.reshape(N, out_h, out_w, C, filter_h, filter_w).transpose(0, 3, 4, 5, 1, 2)

    img = np.zeros((N, C, H + 2*pad + stride - 1, W + 2*pad + stride - 1))
    for y in range(filter_h):
        y_max = y + stride*out_h
        for x in range(filter_w):
            x_max = x + stride*out_w
            img[:, :, y:y_max:stride, x:x_max:stride] += col[:, :, y, x, :, :]

    return img[:, :, pad:H + pad, pad:W + pad]

#入力
x = np.arange(6*1*28*28).reshape(6,1,28,28)

#フィルタ
w = np.arange(5*1*9*9).reshape(5,1,9,9)

#入力2次元化
col_x,out_h,out_w = im2col(x,9,9,1,1,0,0)#入力, フィルタサイズ9, ストライド1

#1層目フィルタ2次元化
col_w = w.reshape(5,-1).T
#1層目畳み込み計算
conv1_col = np.dot(col_x, col_w)

#1層目畳み込み層変換
conv1 = conv1_col.reshape(x.shape[0], out_h, out_w, -1).transpose(0, 3, 2, 1)

#2層目フィルタ
w2 = np.arange(5*5*9*9).reshape(5,5,9,9)

#2層目フィルタ2次元化
col_w2 = w2.reshape(5,-1).T

#2層目畳み込み計算(2次元)
input_col,out_h,out_w = im2col(conv1,9,9,2,2,0,0)#cov1, フィルタサイズ9,ストライド2
conv2_col = np.dot(input_col, col_w2)
conv2 = conv2_col.reshape(conv1.shape[0], out_h, out_w, -1).transpose(0, 3, 2, 1)

#全結合層重み
w_affine = np.random.rand(6*6*5,10)

#全結合層出力
z = conv2.reshape(conv2.shape[0],-1)
y = np.dot(z,w_affine)

t = np.zeros((6,10))
#教師信号
for i in range(6):
    t[i,i]=1
print(t)

#全結合層誤差
Error2 = (y-t)

#畳み込み層2誤差(1次元)
Error1 = np.dot(Error2, w_affine.T)

#畳み込み層誤差変換
dout2 = Error1.reshape(6,5,6,6)
dout2 = dout2.transpose(0,2,3,1).reshape(-1,5)

#w2更新
dw2 = np.dot(input_col.T,dout2)
dw2 = dw2.transpose(1,0).reshape(5,5,9,9)
print(dw2.shape)

#畳み込み層1誤差
dout1_col = np.dot(dout2,col_w2.T)
dout1 = col2im(dout1_col,conv1.shape,9,9,2,0)
dout1 = dout1.transpose(0,2,3,1).reshape(-1,5)

#w1更新
dw1 = np.dot(col_x.T,dout1)
dw1 = dw1.transpose(1,0).reshape(5,1,9,9)

Answer 1

dw2を求める部分ですが、

#w2更新
dw2 = np.dot(input_col.T,dout2)
dw2 = dw2.transpose(1,0).reshape(5,5,9,9)

ではないでしょうか？
同様にdw1も

#w1更新
dw1 = np.dot(col_x.T,dout1)
dw1 = dw1.transpose(1,0).reshape(5,1,9,9)

になるかと思います。
エラー部分の各変数の形状を一度確認されるのが良いかと思います。

Comments

[redcatML]

回答ありがとうございます。
指摘の通りでした。
プログラムを修正したところエラーは無くなりました。

しかしながら、エラーは出なくなりましたが正しく学習が行えていないようです。
プログラムのミスがあれば教えてください。
バイアスや学習率や活性化関数も線形なのでその辺りの調整が必要なのでしょうが、そもそも正しく動いていないようです。

[redcatML]

回答をいただきさらに質問は失礼だと思い、ベストアンサーにさせていただきました。
もう少し考えみます。
ありがとうございました。

[segavvy]

いえいえ、お役に立てたようでしたらよかったです。

教師信号がOne-hotベクトルなので、活性化関数はSoftmaxなどを使って0〜1の範囲にしないと適切な誤差が算出できないのではないかと思います。
また、提示されているコードは勾配（dw1など）を計算されていますが、それを使って実際の重み（wなど）を更新する実装がないので、省略されていないのであればその実装も必要です。

「ゼロから作るDeepLearning」が今は手元にないのでピンポイントでの説明箇所を示せませんが、7章が該当するかと思います。もし良かったら私が1年ほど前に勉強した際のメモをQiitaに投稿しているので、本と合わせて、こちら↓も参照してみてください。
「ゼロから作るDeep Learningで素人がつまずいたことメモ: まとめ」
https://qiita.com/segavvy/items/4e8c36cac9c6f3543ffd