質問編集履歴
3
ミス
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -32,7 +32,7 @@
|
|
|
32
32
|
|
|
33
33
|
|
|
34
34
|
|
|
35
|
-
③ ReLU ？ sigmoidより微分誤差伝播を抑制する効果があっても決定的な手になるのは信じがたいですね。 ----sigmoidのほうは超滑らか(
|
|
35
|
+
③ ReLU ？ sigmoidより微分誤差伝播を抑制する効果があっても決定的な手になるのは信じがたいですね。 ----sigmoidのほうは超滑らか(無限微分可能)なのに。
|
|
36
36
|
|
|
37
37
|
|
|
38
38
|
|
2
ミス訂正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -8,7 +8,7 @@
|
|
|
8
8
|
|
|
9
9
|
というのは微分定義の成立はあくまで滑らかな連続関数を条件とします。
|
|
10
10
|
|
|
11
|
-
画像のような非滑らか、非連続関数
|
|
11
|
+
画像のような非滑らか、非連続関数に基本は向いていませんね。
|
|
12
12
|
|
|
13
13
|
それにもかかわらず多層間微分結果を継承的に計算していくと、当然最終的にとんでもない結果になりかねません。
|
|
14
14
|
|
1
補正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -32,11 +32,11 @@
|
|
|
32
32
|
|
|
33
33
|
|
|
34
34
|
|
|
35
|
-
③ ReLU ？
|
|
35
|
+
③ ReLU ？ sigmoidより微分誤差伝播を抑制する効果があっても決定的な手になるのは信じがたいですね。 ----sigmoidのほうは超滑らか(分限微分可能)なのに。
|
|
36
36
|
|
|
37
37
|
|
|
38
38
|
|
|
39
|
-
④ 計算機の性能アップやGPUなどの高速デバイスの利用も数学原理を変えるわけはありません。
|
|
39
|
+
④ 計算機の性能のアップやGPUなどの高速デバイスの利用も数学原理を変えるわけはありません。
|
|
40
40
|
|
|
41
41
|
|
|
42
42
|
|