活性化関数の説明について

Question

ディープラーニグについて勉強しています。
活性化関数の説明で、

ニューロンの出力y=f(wTx+b)における関数はステップ関数でもシグモイド関数でもよく、ニューロンの線形結合後の非線形変換を行う関数のことを総称して活性化関数と呼びます。

と書いてあったのですが、
なぜニューロンの出力y=f(wTx+b)における関数はステップ関数でもシグモイド関数でもよいのでしょうか？非線形関数なら必ずうまくいく保証はないんじゃないのかという質問です。
シグモイド関数は微分可能で、より複雑なことができる、という認識です。

教えてください、よろしくお願いいたします。

Comments

[quickquip]

「線形関数ではだめ」が成立するのはいいとして、対偶は「うまくいくものがあるとすれば非線形関数」であって、「非線形関数なら必ずうまくいく」保証はないんじゃないのかという質問でしょうか。

[k0908]

いえ、線形関数でうまくいく理由が知りたいという意図です

[quickquip]

線形関数ではうまくいきませんよ。（非線形のtypo?）

[k0908]

ニューロンの出力y=f(wTx+b)における関数はステップ関数でもシグモイド関数でもよく、とあり、ステップ関数は線形関数ですよね？

[k0908]

なぜステップ関数でもシグモイド関数でもいいのかということを知りたいです

[quickquip]

ステップ関数は線形じゃないですよ。 https://ja.wikipedia.org/wiki/%E3%83%98%E3%83%B4%E3%82%A3%E3%82%B5%E3%82%A4%E3%83%89%E3%81%AE%E9%9A%8E%E6%AE%B5%E9%96%A2%E6%95%B0

[k0908]

ステップ関数は非線形で、シグモイド関数が線形ですね・・・！なぜ非線形でも線形でもいいのかという質問です

[hayataka2049]

シグモイド関数も線形ではないですよ。というか線形の意味を理解していますか？

Answer 1

実際試してみるといいと思いますよ。

ノード数が十分多ければ、ステップ関数でもシグモイド関数でも同じ結果になります。

ノード数がギリギリだと、シグモイド関数の方が表現力が高い分有利です。

---

追記

ニューラルネットワークの自由度を決める最大の要因はノードと層の数です。
これらを無限に増やしていけば、（矛盾していない）どんなデータセットに対しても過学習が可能になります。

逆に実践的には過学習をいかに防ぎながらモデルの自由度を高めるのかが重要となります。

結局、数学的な自由度の表現の限界と高い自由度のパラメータ空間の最適化の限界という競合の中でモデル構築が行われます。

ステップ関数やReLUでもシグモイド関数と同等のモデルを再現することができるが、それを既存の最適化アルゴリズムで到達できるかどうかは別の問題です。

Comments

[k0908]

ありがとうございます。追記に書いてある、「ニューラルネットワークの自由度を決める」の自由度とはどういう意味でしょうか？

[mkgrei]

https://stats.stackexchange.com/questions/57027/what-does-degree-of-freedom-mean-in-neural-networks

どれほど任意の関数系を表現できるのか、ということでしょうか。

パラメータの数を増やせば、いずれ原理的には教師データに対して100%の正答率を与えるはずです。

Answer 2

最初に発案された活性化関数はstep関数でした。バイアスを基準に計算結果(wTx)の大小で0,1を出力させることでANDやORなどの論理式を表現し、さらにそれらを組み合わせることで複雑な論理回路(例 XOR)を表現しました。
しかしながら、すべてのものが0,1で表現されるわけではありません。どちらかというと1という曖昧さが必要なケースも存在します。そこで導入された活性化関数がsigmoid関数です。sigmoid関数はlogistic回帰で用いられているものです。このlogistic回帰におけるsigmoid関数は「二値を識別する境界線に近ければ二値の混合は増し、離れれば減る」という状態をうまくモデル化することで学習に役立てるものです。ニューラルネットはこのアイデアを活性化関数に取り入れることで、0～1の連続値を表現可能としました。

以上から、活性化関数がstep関数でもsigmoid関数でも問題ないことがわかるかと思います。どちらがいいかはタスク依存です。ただsigmoid関数のほうが表現力が豊かなので、step関数より一般的であると言っていいかと思います

Answer 3

なぜニューロンの出力y=f(wTx+b)における関数はステップ関数でもシグモイド関数でもよいのでしょうか？非線形関数なら必ずうまくいく保証はないんじゃないのかという質問

雑に言えばステップ関数とsigmoidは同じような性質の関数です。

ステップ関数の連続版がsigmoid、くらいの理解でも良いと思います。プロットを見れば一発で納得できることなので、これ以上説明はしませんが。

「うまくいく保証」については普遍性定理が絡みます。

ニューラルネットワークにおけるUniversal Approximation Theorem(普遍性定理)について
ニューラルネットワークと深層学習

Answer 4

ステップ関数もシグモイド関数も非線形な関数ですよ。
その文章から「ステップ関数もシグモイド関数のどちらも『非線形変換を行う関数』である」ということを読み取れないことが(真の)問題なのではないでしょうか?

そのページにいたるまでにXORの問題などを引き合いに出して、線形変換の関数だけでは解けませんね? という話は出てこなかったですか?

そのページにいたるまでに線形変換の関数だけを組み合わせても線形変換の関数にしかなりませんね? という話は出てこなかったですか?

そこまで理解しましたか?
理解してから読み進めてますか?

Comments

[k0908]

わかりました、すみません！非線形関数なら必ずうまくいく保証はないんじゃないのかという質問です！！

[quickquip]

「質問への追記・修正」に最初に書いたことですので、質問を追記・修正していただければ。

[k0908]

情報を追加しました、もしご存知ならよろしくお願いいたします。

[quickquip]

mkgrelさんの回答でいいと思いますけど。