質問編集履歴
5
修正しました
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -200,7 +200,7 @@
|
|
|
200
200
|
|
|
201
201
|
|
|
202
202
|
|
|
203
|
-
a =
|
|
203
|
+
a = 1e-5
|
|
204
204
|
|
|
205
205
|
#affine層更新
|
|
206
206
|
|
4
コード修正しました
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -12,12 +12,18 @@
|
|
|
12
12
|
|
|
13
13
|
|
|
14
14
|
|
|
15
|
-
下のプログラムでは、簡略化のために、入力
|
|
15
|
+
下のプログラムでは、簡略化のために、入力はnp.arrangeで実装しています。
|
|
16
16
|
|
|
17
17
|
入力はmnistを想定してのこの形となっています。
|
|
18
18
|
|
|
19
19
|
|
|
20
20
|
|
|
21
|
+
学習した結果、テストしたところ、出力の最大の要素が全て同じになってしまい、正しく学習がされていないようです。
|
|
22
|
+
|
|
23
|
+
col2imや逆伝搬の使い方に誤りがあるのでしょうか？
|
|
24
|
+
|
|
25
|
+
|
|
26
|
+
|
|
21
27
|
```python
|
|
22
28
|
|
|
23
29
|
|
|
@@ -92,21 +98,175 @@
|
|
|
92
98
|
|
|
93
99
|
|
|
94
100
|
|
|
101
|
+
def f(x):
|
|
102
|
+
|
|
103
|
+
y = 1 / (1 + np.exp(-0.01*x))
|
|
104
|
+
|
|
105
|
+
return y
|
|
106
|
+
|
|
107
|
+
|
|
108
|
+
|
|
109
|
+
#フィルタ
|
|
110
|
+
|
|
111
|
+
#w = np.arange(5*1*9*9).reshape(5,1,9,9)
|
|
112
|
+
|
|
113
|
+
w = np.random.rand(5,1,9,9)/100
|
|
114
|
+
|
|
115
|
+
|
|
116
|
+
|
|
117
|
+
#2層目フィルタ
|
|
118
|
+
|
|
119
|
+
#w2 = np.arange(5*5*9*9).reshape(5,5,9,9)
|
|
120
|
+
|
|
121
|
+
w2 = np.random.rand(5,5,9,9)/100
|
|
122
|
+
|
|
123
|
+
|
|
124
|
+
|
|
125
|
+
#全結合層重み
|
|
126
|
+
|
|
127
|
+
w_affine = np.random.rand(6*6*5,10)/100
|
|
128
|
+
|
|
129
|
+
|
|
130
|
+
|
|
131
|
+
for i in range(1000):#学習回数
|
|
132
|
+
|
|
133
|
+
#入力
|
|
134
|
+
|
|
135
|
+
x = np.arange(6*1*28*28).reshape(6,1,28,28)
|
|
136
|
+
|
|
137
|
+
x = 0.0001*x
|
|
138
|
+
|
|
139
|
+
|
|
140
|
+
|
|
141
|
+
#入力2次元化
|
|
142
|
+
|
|
143
|
+
col_x,out_h,out_w = im2col(x,9,9,1,1,0,0)#入力, フィルタサイズ9, ストライド1
|
|
144
|
+
|
|
145
|
+
|
|
146
|
+
|
|
147
|
+
#1層目フィルタ2次元化
|
|
148
|
+
|
|
149
|
+
col_w = w.reshape(5,-1).T
|
|
150
|
+
|
|
151
|
+
#1層目畳み込み計算
|
|
152
|
+
|
|
153
|
+
conv1_col = np.dot(col_x, col_w)
|
|
154
|
+
|
|
155
|
+
|
|
156
|
+
|
|
157
|
+
#1層目畳み込み層変換
|
|
158
|
+
|
|
159
|
+
conv1 = conv1_col.reshape(x.shape[0], out_h, out_w, -1).transpose(0, 3, 2, 1)
|
|
160
|
+
|
|
161
|
+
|
|
162
|
+
|
|
163
|
+
#2層目フィルタ2次元化
|
|
164
|
+
|
|
165
|
+
col_w2 = w2.reshape(5,-1).T
|
|
166
|
+
|
|
167
|
+
|
|
168
|
+
|
|
169
|
+
#2層目畳み込み計算(2次元)
|
|
170
|
+
|
|
171
|
+
input_col,out_h,out_w = im2col(conv1,9,9,2,2,0,0)#cov1, フィルタサイズ9,ストライド2
|
|
172
|
+
|
|
173
|
+
conv2_col = np.dot(input_col, col_w2)
|
|
174
|
+
|
|
175
|
+
conv2 = conv2_col.reshape(conv1.shape[0], out_h, out_w, -1).transpose(0, 3, 2, 1)
|
|
176
|
+
|
|
177
|
+
|
|
178
|
+
|
|
179
|
+
#全結合層出力
|
|
180
|
+
|
|
181
|
+
z = conv2.reshape(conv2.shape[0],-1)
|
|
182
|
+
|
|
183
|
+
y = f(np.dot(z,w_affine))
|
|
184
|
+
|
|
185
|
+
|
|
186
|
+
|
|
187
|
+
t = np.zeros((6,10))
|
|
188
|
+
|
|
189
|
+
#教師信号
|
|
190
|
+
|
|
191
|
+
for i in range(6):
|
|
192
|
+
|
|
193
|
+
t[i,i]=1
|
|
194
|
+
|
|
195
|
+
|
|
196
|
+
|
|
197
|
+
#全結合層誤差
|
|
198
|
+
|
|
199
|
+
Error2 = (t - y) * (1 - y) * y
|
|
200
|
+
|
|
201
|
+
|
|
202
|
+
|
|
203
|
+
a = -1e-5
|
|
204
|
+
|
|
205
|
+
#affine層更新
|
|
206
|
+
|
|
207
|
+
w_affine += a * np.dot(z.T, Error2)
|
|
208
|
+
|
|
209
|
+
|
|
210
|
+
|
|
211
|
+
#畳み込み層2誤差(1次元)
|
|
212
|
+
|
|
213
|
+
Error1 = np.dot(Error2, w_affine.T)
|
|
214
|
+
|
|
215
|
+
|
|
216
|
+
|
|
217
|
+
#畳み込み層誤差変換
|
|
218
|
+
|
|
219
|
+
dout2 = Error1.reshape(6,5,6,6)
|
|
220
|
+
|
|
221
|
+
dout2 = dout2.transpose(0,2,3,1).reshape(-1,5)
|
|
222
|
+
|
|
223
|
+
|
|
224
|
+
|
|
225
|
+
#w2更新
|
|
226
|
+
|
|
227
|
+
dw2 = np.dot(input_col.T,dout2)
|
|
228
|
+
|
|
229
|
+
dw2 = dw2.transpose(1,0).reshape(5,5,9,9)
|
|
230
|
+
|
|
231
|
+
w2 += a * dw2
|
|
232
|
+
|
|
233
|
+
|
|
234
|
+
|
|
235
|
+
#畳み込み層1誤差
|
|
236
|
+
|
|
237
|
+
dout1_col = np.dot(dout2,col_w2.T)
|
|
238
|
+
|
|
239
|
+
dout1 = col2im(dout1_col,conv1.shape,9,9,2,0)
|
|
240
|
+
|
|
241
|
+
dout1 = dout1.transpose(0,2,3,1).reshape(-1,5)
|
|
242
|
+
|
|
243
|
+
|
|
244
|
+
|
|
245
|
+
#w1更新
|
|
246
|
+
|
|
247
|
+
dw1 = np.dot(col_x.T,dout1)
|
|
248
|
+
|
|
249
|
+
dw1 = dw1.transpose(1,0).reshape(5,1,9,9)
|
|
250
|
+
|
|
251
|
+
w += a * dw1
|
|
252
|
+
|
|
253
|
+
|
|
254
|
+
|
|
255
|
+
#学習結果をテスト
|
|
256
|
+
|
|
95
257
|
#入力
|
|
96
258
|
|
|
97
259
|
x = np.arange(6*1*28*28).reshape(6,1,28,28)
|
|
98
260
|
|
|
99
261
|
x = 0.0001*x
|
|
100
262
|
|
|
101
|
-
print(x)
|
|
102
|
-
|
|
103
263
|
|
|
104
264
|
|
|
105
265
|
#フィルタ
|
|
106
266
|
|
|
107
|
-
w = np.arange(5*1*9*9).reshape(5,1,9,9)
|
|
267
|
+
#w = np.arange(5*1*9*9).reshape(5,1,9,9)
|
|
108
|
-
|
|
268
|
+
|
|
109
|
-
w = 0.01*w
|
|
269
|
+
#w = 0.01*w
|
|
110
270
|
|
|
111
271
|
|
|
112
272
|
|
|
@@ -134,9 +294,9 @@
|
|
|
134
294
|
|
|
135
295
|
#2層目フィルタ
|
|
136
296
|
|
|
137
|
-
w2 = np.arange(5*5*9*9).reshape(5,5,9,9)
|
|
297
|
+
#w2 = np.arange(5*5*9*9).reshape(5,5,9,9)
|
|
138
|
-
|
|
298
|
+
|
|
139
|
-
w2 = 0.01*w2
|
|
299
|
+
#w2 = 0.01*w2
|
|
140
300
|
|
|
141
301
|
|
|
142
302
|
|
|
@@ -158,7 +318,7 @@
|
|
|
158
318
|
|
|
159
319
|
#全結合層重み
|
|
160
320
|
|
|
161
|
-
w_affine = np.random.rand(6*6*5,10)
|
|
321
|
+
#w_affine = np.random.rand(6*6*5,10)
|
|
162
322
|
|
|
163
323
|
|
|
164
324
|
|
|
@@ -166,76 +326,16 @@
|
|
|
166
326
|
|
|
167
327
|
z = conv2.reshape(conv2.shape[0],-1)
|
|
168
328
|
|
|
169
|
-
y = np.dot(z,w_affine)
|
|
329
|
+
y = f(np.dot(z,w_affine))
|
|
170
|
-
|
|
171
|
-
|
|
172
|
-
|
|
330
|
+
|
|
173
|
-
|
|
331
|
+
y_max = np.argmax(y,axis=1)
|
|
174
|
-
|
|
175
|
-
|
|
332
|
+
|
|
176
|
-
|
|
177
|
-
|
|
333
|
+
|
|
178
|
-
|
|
334
|
+
|
|
179
|
-
|
|
335
|
+
print(y)
|
|
336
|
+
|
|
337
|
+
print(y_max)
|
|
180
338
|
|
|
181
339
|
print(t)
|
|
182
340
|
|
|
183
|
-
|
|
184
|
-
|
|
185
|
-
#全結合層誤差
|
|
186
|
-
|
|
187
|
-
Error2 = (t-y)
|
|
188
|
-
|
|
189
|
-
|
|
190
|
-
|
|
191
|
-
#affine層更新
|
|
192
|
-
|
|
193
|
-
w_affine += np.dot(z.T, Error2)
|
|
194
|
-
|
|
195
|
-
|
|
196
|
-
|
|
197
|
-
#畳み込み層2誤差(1次元)
|
|
198
|
-
|
|
199
|
-
Error1 = np.dot(Error2, w_affine.T)
|
|
200
|
-
|
|
201
|
-
|
|
202
|
-
|
|
203
|
-
#畳み込み層誤差変換
|
|
204
|
-
|
|
205
|
-
dout2 = Error1.reshape(6,5,6,6)
|
|
206
|
-
|
|
207
|
-
dout2 = dout2.transpose(0,2,3,1).reshape(-1,5)
|
|
208
|
-
|
|
209
|
-
|
|
210
|
-
|
|
211
|
-
#w2更新
|
|
212
|
-
|
|
213
|
-
dw2 = np.dot(input_col.T,dout2)
|
|
214
|
-
|
|
215
|
-
dw2 = dw2.transpose(1,0).reshape(5,5,9,9)
|
|
216
|
-
|
|
217
|
-
w2 += dw2
|
|
218
|
-
|
|
219
|
-
|
|
220
|
-
|
|
221
|
-
#畳み込み層1誤差
|
|
222
|
-
|
|
223
|
-
dout1_col = np.dot(dout2,col_w2.T)
|
|
224
|
-
|
|
225
|
-
dout1 = col2im(dout1_col,conv1.shape,9,9,2,0)
|
|
226
|
-
|
|
227
|
-
dout1 = dout1.transpose(0,2,3,1).reshape(-1,5)
|
|
228
|
-
|
|
229
|
-
|
|
230
|
-
|
|
231
|
-
#w1更新
|
|
232
|
-
|
|
233
|
-
dw1 = np.dot(col_x.T,dout1)
|
|
234
|
-
|
|
235
|
-
dw1 = dw1.transpose(1,0).reshape(5,1,9,9)
|
|
236
|
-
|
|
237
|
-
w += dw1
|
|
238
|
-
|
|
239
|
-
|
|
240
|
-
|
|
241
341
|
```
|
3
コード修正しました
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -20,6 +20,8 @@
|
|
|
20
20
|
|
|
21
21
|
```python
|
|
22
22
|
|
|
23
|
+
|
|
24
|
+
|
|
23
25
|
import numpy as np
|
|
24
26
|
|
|
25
27
|
|
|
@@ -182,7 +184,13 @@
|
|
|
182
184
|
|
|
183
185
|
#全結合層誤差
|
|
184
186
|
|
|
185
|
-
Error2 = (y
|
|
187
|
+
Error2 = (t-y)
|
|
188
|
+
|
|
189
|
+
|
|
190
|
+
|
|
191
|
+
#affine層更新
|
|
192
|
+
|
|
193
|
+
w_affine += np.dot(z.T, Error2)
|
|
186
194
|
|
|
187
195
|
|
|
188
196
|
|
2
プログラムを修正しました
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -94,12 +94,18 @@
|
|
|
94
94
|
|
|
95
95
|
x = np.arange(6*1*28*28).reshape(6,1,28,28)
|
|
96
96
|
|
|
97
|
+
x = 0.0001*x
|
|
98
|
+
|
|
99
|
+
print(x)
|
|
100
|
+
|
|
97
101
|
|
|
98
102
|
|
|
99
103
|
#フィルタ
|
|
100
104
|
|
|
101
105
|
w = np.arange(5*1*9*9).reshape(5,1,9,9)
|
|
102
106
|
|
|
107
|
+
w = 0.01*w
|
|
108
|
+
|
|
103
109
|
|
|
104
110
|
|
|
105
111
|
#入力2次元化
|
|
@@ -128,6 +134,8 @@
|
|
|
128
134
|
|
|
129
135
|
w2 = np.arange(5*5*9*9).reshape(5,5,9,9)
|
|
130
136
|
|
|
137
|
+
w2 = 0.01*w2
|
|
138
|
+
|
|
131
139
|
|
|
132
140
|
|
|
133
141
|
#2層目フィルタ2次元化
|
|
@@ -174,7 +182,7 @@
|
|
|
174
182
|
|
|
175
183
|
#全結合層誤差
|
|
176
184
|
|
|
177
|
-
Error2 = (t
|
|
185
|
+
Error2 = (y-t)
|
|
178
186
|
|
|
179
187
|
|
|
180
188
|
|
|
@@ -182,8 +190,6 @@
|
|
|
182
190
|
|
|
183
191
|
Error1 = np.dot(Error2, w_affine.T)
|
|
184
192
|
|
|
185
|
-
w_affine += np.dot(z.T, Error2)
|
|
186
|
-
|
|
187
193
|
|
|
188
194
|
|
|
189
195
|
#畳み込み層誤差変換
|
|
@@ -200,9 +206,7 @@
|
|
|
200
206
|
|
|
201
207
|
dw2 = dw2.transpose(1,0).reshape(5,5,9,9)
|
|
202
208
|
|
|
203
|
-
w2 +=dw2
|
|
209
|
+
w2 += dw2
|
|
204
|
-
|
|
205
|
-
print(dw2.shape)
|
|
206
210
|
|
|
207
211
|
|
|
208
212
|
|
|
@@ -222,6 +226,8 @@
|
|
|
222
226
|
|
|
223
227
|
dw1 = dw1.transpose(1,0).reshape(5,1,9,9)
|
|
224
228
|
|
|
225
|
-
w+=dw1
|
|
229
|
+
w += dw1
|
|
230
|
+
|
|
231
|
+
|
|
226
232
|
|
|
227
233
|
```
|
1
質問を具体的にしました
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,11 +1,23 @@
|
|
|
1
1
|
ゼロから作るdeep learningのim2colとcol2im関数のみを用いて, かんたんな畳込みネットワークを作成しようとしているのですが, うまく学習が行えていません。
|
|
2
2
|
|
|
3
|
-
下のプログラムで決定的な誤りが箇所はありますか？
|
|
3
|
+
下のプログラムで決定的な誤りがある箇所はありますか？
|
|
4
4
|
|
|
5
5
|
学習率と活性化関数とバイアスは考えないでプログラムしています。
|
|
6
6
|
|
|
7
7
|
|
|
8
8
|
|
|
9
|
+
CNNの構成は、入力→畳み込み層→畳み込み層2→全結合層を想定しています。
|
|
10
|
+
|
|
11
|
+
全結合層から２乗誤差を逆伝搬して誤差逆伝搬を実装しています。
|
|
12
|
+
|
|
13
|
+
|
|
14
|
+
|
|
15
|
+
下のプログラムでは、簡略化のために、入力と重みはnp.arrangeで実装しています。
|
|
16
|
+
|
|
17
|
+
入力はmnistを想定してのこの形となっています。
|
|
18
|
+
|
|
19
|
+
|
|
20
|
+
|
|
9
21
|
```python
|
|
10
22
|
|
|
11
23
|
import numpy as np
|