質問編集履歴
2
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -22,9 +22,7 @@
|
|
|
22
22
|
|
|
23
23
|
書籍には、ショートカット構造をとることで、逆伝播時に勾配をそのまま流すことができるので意味ある情報を届けることができると書かれております。
|
|
24
24
|
|
|
25
|
-
実際に、ResNet(論文に記載された構造18層,34層,50層,…)からショートカットだけを抜いたもの(つまり通常のCNN)でそれぞれの深さで学習をさせたところ、Batch Normalizationが含まれているにも関わらず、層が深くなるにつれて学習が進みませんでした。
|
|
26
|
-
|
|
27
|
-
|
|
25
|
+
実際は層を深くするとBatch Normalizationでは勾配消失問題を解決しきれていないのでしょうか。そして、ResNetがそれを解決しているのでしょうか。
|
|
28
26
|
|
|
29
27
|
|
|
30
28
|
|
1
test
CHANGED
|
File without changes
|
test
CHANGED
|
File without changes
|