質問編集履歴
3
ミス
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -15,7 +15,7 @@
|
|
|
15
15
|
② drop out ? これは①の究極・強引的なやりかたとして見なしても良いと思います。
|
|
16
16
|
なので微分誤差伝播問題の解決に貢献できるのは原理的に見えません。
|
|
17
17
|
|
|
18
|
-
③ ReLU ？ sigmoidより微分誤差伝播を抑制する効果があっても決定的な手になるのは信じがたいですね。 ----sigmoidのほうは超滑らか(
|
|
18
|
+
③ ReLU ？ sigmoidより微分誤差伝播を抑制する効果があっても決定的な手になるのは信じがたいですね。 ----sigmoidのほうは超滑らか(無限微分可能)なのに。
|
|
19
19
|
|
|
20
20
|
④ 計算機の性能のアップやGPUなどの高速デバイスの利用も数学原理を変えるわけはありません。
|
|
21
21
|
|
2
ミス訂正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -3,7 +3,7 @@
|
|
|
3
3
|
**深層ネットにBPすれば、入力端への誤差feedbackは信用できなくなるか、発散したり、0になったりするという話**を昔から覚えております。
|
|
4
4
|
|
|
5
5
|
というのは微分定義の成立はあくまで滑らかな連続関数を条件とします。
|
|
6
|
-
画像のような非滑らか、非連続関数
|
|
6
|
+
画像のような非滑らか、非連続関数に基本は向いていませんね。
|
|
7
7
|
それにもかかわらず多層間微分結果を継承的に計算していくと、当然最終的にとんでもない結果になりかねません。
|
|
8
8
|
|
|
9
9
|
|
1
補正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -15,9 +15,9 @@
|
|
|
15
15
|
② drop out ? これは①の究極・強引的なやりかたとして見なしても良いと思います。
|
|
16
16
|
なので微分誤差伝播問題の解決に貢献できるのは原理的に見えません。
|
|
17
17
|
|
|
18
|
-
③ ReLU ？
|
|
18
|
+
③ ReLU ？ sigmoidより微分誤差伝播を抑制する効果があっても決定的な手になるのは信じがたいですね。 ----sigmoidのほうは超滑らか(分限微分可能)なのに。
|
|
19
19
|
|
|
20
|
-
④ 計算機の性能アップやGPUなどの高速デバイスの利用も数学原理を変えるわけはありません。
|
|
20
|
+
④ 計算機の性能のアップやGPUなどの高速デバイスの利用も数学原理を変えるわけはありません。
|
|
21
21
|
|
|
22
22
|
##どうやってBP問題を克服されたのでしょうか。
|
|
23
23
|
解説やヒントを頂ければ、幸いと思います。
|