質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.60%

活性化関数の説明について

解決済

回答 4

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 1,424

k0908

score 102

ディープラーニグについて勉強しています。
活性化関数の説明で、

ニューロンの出力y=f(wTx+b)における関数はステップ関数でもシグモイド関数でもよく、ニューロンの線形結合後の非線形変換を行う関数のことを総称して活性化関数と呼びます。

と書いてあったのですが、
なぜニューロンの出力y=f(wTx+b)における関数はステップ関数でもシグモイド関数でもよいのでしょうか?非線形関数なら必ずうまくいく保証はないんじゃないのかという質問です。
シグモイド関数は微分可能で、より複雑なことができる、という認識です。

教えてください、よろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • キャンセル

  • k0908

    2018/09/20 16:17

    ステップ関数は非線形で、シグモイド関数が線形ですね・・・!なぜ非線形でも線形でもいいのかという質問です

    キャンセル

  • hayataka2049

    2018/09/20 16:26

    シグモイド関数も線形ではないですよ。というか線形の意味を理解していますか?

    キャンセル

回答 4

+1

実際試してみるといいと思いますよ。

ノード数が十分多ければ、ステップ関数でもシグモイド関数でも同じ結果になります。

ノード数がギリギリだと、シグモイド関数の方が表現力が高い分有利です。


追記

ニューラルネットワークの自由度を決める最大の要因はノードと層の数です。
これらを無限に増やしていけば、(矛盾していない)どんなデータセットに対しても過学習が可能になります。

逆に実践的には過学習をいかに防ぎながらモデルの自由度を高めるのかが重要となります。

結局、数学的な自由度の表現の限界と高い自由度のパラメータ空間の最適化の限界という競合の中でモデル構築が行われます。

ステップ関数やReLUでもシグモイド関数と同等のモデルを再現することができるが、それを既存の最適化アルゴリズムで到達できるかどうかは別の問題です。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/09/21 10:10

    ありがとうございます。追記に書いてある、「ニューラルネットワークの自由度を決める」の自由度とはどういう意味でしょうか?

    キャンセル

  • 2018/09/22 21:46

    https://stats.stackexchange.com/questions/57027/what-does-degree-of-freedom-mean-in-neural-networks

    どれほど任意の関数系を表現できるのか、ということでしょうか。

    パラメータの数を増やせば、いずれ原理的には教師データに対して100%の正答率を与えるはずです。

    キャンセル

checkベストアンサー

0

最初に発案された活性化関数はstep関数でした。バイアスを基準に計算結果(wTx)の大小で0,1を出力させることでANDやORなどの論理式を表現し、さらにそれらを組み合わせることで複雑な論理回路(例 XOR)を表現しました。
しかしながら、すべてのものが0,1で表現されるわけではありません。どちらかというと1という曖昧さが必要なケースも存在します。そこで導入された活性化関数がsigmoid関数です。sigmoid関数はlogistic回帰で用いられているものです。このlogistic回帰におけるsigmoid関数は「二値を識別する境界線に近ければ二値の混合は増し、離れれば減る」という状態をうまくモデル化することで学習に役立てるものです。ニューラルネットはこのアイデアを活性化関数に取り入れることで、0~1の連続値を表現可能としました。

以上から、活性化関数がstep関数でもsigmoid関数でも問題ないことがわかるかと思います。どちらがいいかはタスク依存です。ただsigmoid関数のほうが表現力が豊かなので、step関数より一般的であると言っていいかと思います

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

ステップ関数もシグモイド関数も非線形な関数ですよ。
その文章から「ステップ関数もシグモイド関数のどちらも『非線形変換を行う関数』である」ということを読み取れないことが(真の)問題なのではないでしょうか?

そのページにいたるまでにXORの問題などを引き合いに出して、線形変換の関数だけでは解けませんね? という話は出てこなかったですか?

そのページにいたるまでに線形変換の関数だけを組み合わせても線形変換の関数にしかなりませんね? という話は出てこなかったですか?

そこまで理解しましたか?
理解してから読み進めてますか?

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/09/20 16:30

    わかりました、すみません!非線形関数なら必ずうまくいく保証はないんじゃないのかという質問です!!

    キャンセル

  • 2018/09/20 16:32

    「質問への追記・修正」に最初に書いたことですので、質問を追記・修正していただければ。

    キャンセル

  • 2018/09/20 16:35

    情報を追加しました、もしご存知ならよろしくお願いいたします。

    キャンセル

  • 2018/09/20 17:08

    mkgrelさんの回答でいいと思いますけど。

    キャンセル

0

なぜニューロンの出力y=f(wTx+b)における関数はステップ関数でもシグモイド関数でもよいのでしょうか?非線形関数なら必ずうまくいく保証はないんじゃないのかという質問

雑に言えばステップ関数とsigmoidは同じような性質の関数です。

ステップ関数の連続版がsigmoid、くらいの理解でも良いと思います。プロットを見れば一発で納得できることなので、これ以上説明はしませんが。

「うまくいく保証」については普遍性定理が絡みます。

ニューラルネットワークにおけるUniversal Approximation Theorem(普遍性定理)について
ニューラルネットワークと深層学習

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.60%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る