回答編集履歴
2
Auto encoderと勾配消失の話も追加
answer
CHANGED
|
@@ -11,4 +11,9 @@
|
|
|
11
11
|
---
|
|
12
12
|
ちなみにですが、ResNetも重要な概念の一つですので関連するpageを紹介しておきます
|
|
13
13
|
http://terada-h.hatenablog.com/entry/2016/12/13/192940
|
|
14
|
-
こちらも読んでみてください。
|
|
14
|
+
こちらも読んでみてください。
|
|
15
|
+
|
|
16
|
+
---
|
|
17
|
+
さらに追記するとAuto Encoderも勾配消失問題の対応策として有効だったようですね
|
|
18
|
+
https://deepage.net/deep_learning/2016/10/09/deeplearning_autoencoder.html
|
|
19
|
+
ただ100億という膨大な層につかえるかはよくわかりません。
|
1
ResNetmojy
answer
CHANGED
|
@@ -6,4 +6,9 @@
|
|
|
6
6
|
③は勾配消失問題の解決に役立っています。NNの誤差逆伝搬法は入力側へ伝搬すればするほど、出力側の勾配が蓄積されます。sigmoid関数を`S(x)`とすれば、誤差逆伝搬では勾配値の計算に`S'(x) = S(x)(1-S(X))`が使われ明らかにこれは１より小さい数値です。これが蓄積されるということは１より小さい数値が何度も掛けられるということなのでこれが勾配消失につながります。
|
|
7
7
|
Reluであれば`x>0`においてその微分値は`1`なので勾配消失につながりません
|
|
8
8
|
|
|
9
|
-
④は本議題とは関係ないですね。NNでは多くの行列計算を行いますが、その計算速度がGPUのほうがCPUより速いというだけです。（だけ、とはいってもそれが重要なのですが）
|
|
9
|
+
④は本議題とは関係ないですね。NNでは多くの行列計算を行いますが、その計算速度がGPUのほうがCPUより速いというだけです。（だけ、とはいってもそれが重要なのですが）
|
|
10
|
+
|
|
11
|
+
---
|
|
12
|
+
ちなみにですが、ResNetも重要な概念の一つですので関連するpageを紹介しておきます
|
|
13
|
+
http://terada-h.hatenablog.com/entry/2016/12/13/192940
|
|
14
|
+
こちらも読んでみてください。
|