回答編集履歴
1
edit
answer
CHANGED
|
@@ -2,4 +2,17 @@
|
|
|
2
2
|
|
|
3
3
|
ノード数が十分多ければ、ステップ関数でもシグモイド関数でも同じ結果になります。
|
|
4
4
|
|
|
5
|
-
ノード数がギリギリだと、シグモイド関数の方が表現力が高い分有利です。
|
|
5
|
+
ノード数がギリギリだと、シグモイド関数の方が表現力が高い分有利です。
|
|
6
|
+
|
|
7
|
+
---
|
|
8
|
+
|
|
9
|
+
追記
|
|
10
|
+
|
|
11
|
+
ニューラルネットワークの自由度を決める最大の要因はノードと層の数です。
|
|
12
|
+
これらを無限に増やしていけば、（矛盾していない）どんなデータセットに対しても過学習が可能になります。
|
|
13
|
+
|
|
14
|
+
逆に実践的には過学習をいかに防ぎながらモデルの自由度を高めるのかが重要となります。
|
|
15
|
+
|
|
16
|
+
結局、数学的な自由度の表現の限界と高い自由度のパラメータ空間の最適化の限界という競合の中でモデル構築が行われます。
|
|
17
|
+
|
|
18
|
+
ステップ関数やReLUでもシグモイド関数と同等のモデルを再現することができるが、それを既存の最適化アルゴリズムで到達できるかどうかは別の問題です。
|