質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.61%

  • Python

    7464questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

ニューラルネットワークに関する素朴な疑問

解決済

回答 1

投稿

  • 評価
  • クリップ 2
  • VIEW 252

dad

score 27

パーセプトロンの頃は「閾値」がありましたが、ニューラルネットワークになって「活性化関数」が出てきました。これは全く同一のものと考えて良いのでしょうか?何か違いはありますか?

活性化関数にソフトマックス関数を用いることが多いと知りました。確率の機能をすることはわかります。も、exp(x)の代わりに絶対値やルートを求め、同じように平均をとっても良いのではないのでしょうか?なぜ、expなのですか?
また、順序が変わらないとのことで、実装しないことも多いというのですが、「あえて実装するとき」はどのようなときですか?

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+7

ニューラルネットワークになっても閾値は存在します。パーセプトロンの場合は計算結果が閾値を越えれば所定の値を次のノードに引き渡すという処理でしたが、ニューラルネットワークは、計算結果と閾値との差異の程度から次のノードに引き渡す値が変化するようにしています。
この変化の度合いを計算する機能が活性化関数と呼ばれるものです。よくある例えでいうと、画像を見て動物であれば1、それ以外であれば0を次のノードに引き渡すとした場合、「確実に動物である」から「動物ではない」までの間(つまり、「動物らしい」や「どちらともいえない」など)を0.8や0.5などの値で表現していると考えると何となくわかるかと思います。

活性化関数とsoftmax関数は少し違うものです。softmax関数は最終的にクラス(イヌ・ネコ・ネズミ)に属する可能性を表すものであり、活性化関数はsoftmax関数による計算に至るまでに用いられるものです。ただし、いくつかある活性化関数のうち、sigmoid関数は計算結果が0~1であること、0.5を中心に正規分布を変形したような形状であることなどからその結果を確率として扱うこともできます。しかしながら、そうした使い方はクラスが2値の場合に限られ、多クラス分類には使用できないので一般的とはいいがたいと思います。

softmax関数はexpを用いているものの、exp(x)だけで計算されているわけではありません。(計算式の説明などはhttps://mathtrain.jp/softmaxを参照するといいかと思います)これを使うことで多クラスの場合も各クラスに属する確率を計算できるので、モデル学習において便利なため用いいます。

softmaxによるクラスに属する確率の計算は、学習(ウェイトなどの更新)にとっては必須ですが、学習後の未知のデータを識別する際は、必ずしも必要ではありません。結局のところ、softmax関数のインプットが大きければ関数のアウトプットも大きくなるという意味で順序に相違はないため、softmax関数のインプットの段階で最も大きいものを識別結果としてもかまわないとしているケースが多いと思います。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/09 14:17

    解釈が正しいのか確認するために質問します。

    >ニューラルネットワークは、計算結果と閾値との差異の程度から次のノードに引き渡す値が変化するようにしています。
    閾値は活性化関数と等しいのではなく、「バイアス」と等しいということですか?

    >活性化関数とsoftmax関数は少し違うものです。
    softmax関数は活性化関数の補集合だと考えていたのですが、これは誤りですか?

    >活性化関数はsoftmax関数による計算に至るまでに用いられるものです。
    活性化関数は「隠れ層」における「どのように発火するか」を求めるための関数であり、softmax関数は「隠れ層と出力層の両方」において、どのように発火するかを求めることができる関数であるということですか?

    >各クラスに属する確率を計算できるので、モデル学習において便利なため用いいます。softmaxによるクラスに属する確率の計算は、学習(ウェイトなどの更新)にとっては必須...
    推論には順序が変わらないため、実装しないが、学習にはウェイト更新に役立つため、実装するということですか?また、ウェイト更新に求まった確率がどのように作用するのでしょうか?教師データとの誤差を求めるためですか?

    質問が多くてすみません。もやもやしたままにしたくないです。回答よろしくお願いします。

    キャンセル

  • 2018/05/09 20:52

    閾値とバイアスは同じものとしていいと思います。コードイメージy=wx+b(x,y,w,bはいずれもtensor)のbにあたるものです。

    活性化関数とsoftmax関数は似て非なるものです。上記のy=wx+bを受けてp=sigmoid(y)で計算され(活性化関数はsigmoidだけではない)、次のノードでpをインプットにして計算が行われます。softmax関数はいわゆる出力層で使用するもので、元の入力値がどのクラスに属するかを確率で表現するためのものです。softmax関数を隠れ層で使用してはいけないというルールがあるわけではないので、実装してもいいと思いますが、見たことがないので、活性化関数とsoftmax関数は別ものという整理でいいと思います。

    出力層でsoftmax関数で確率に換算するのは、教師データとの誤差を計算するためです。ウェイトなどの更新を担当するoptimizerはこの誤差に基づき更新を行います。学習終了後は更新をする必要がないので、softmax関数による計算はなくてもいいことになります

    キャンセル

  • 2018/05/09 22:54

    丁寧な解説ありがとうございました。非常に納得でき、理解が深まりました。今後も似たような質問をするかもしれません。また、回答よろしくお願いします。

    本当に回答ありがとうございました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.61%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    JavaScriptで複数画像を切り替える方法

    はじめまして。よろしくお願いいたします。 複数の画像を、画面クリックで次々に進めていき、途中で「戻る」「進む」などのボタンを画像下に貼りたいと思います。(例えばですが、0~10P

  • 解決済

    scikit-learnで閾値を設定して分類する方法

    今pythonのscikit-learnという機械学習用のライブラリを用いて SVMによる二値の分類を行っています. そこで質問です. 閾値を自分で設定して それよ

  • 解決済

    Google maps API v3 StreetviewのgetLinksメソッドについて

    このサイトでStreetViewAPIのpanoramaクラスで、v2からv3に移行してfollowLinksメソッドが使えなくなったという記事を見ました。しかしその記事は2013

  • 解決済

    cythonを使っていてエラーが出ました

    使うというかpyxファイルをビルドする時点でエラーを吐いてしまいました 以下に実行ファイルと実行結果を記します expがおかしいようなのですが、どう改善していいかわかりませ

  • 解決済

    cythonの型定義

    cythonファイルに型を定義したいです もともとのpyxファイルと 自分で型を定義したときのコードをのせます gamma1.pyx from math import exp

  • 受付中

    C言語でexp(x)を微分方程式で書く

    C言語でexp(x)を微分方程式で書けという問題で行き詰ってます。 オイラー法で書くことはできたのですが、それ以外の修正オイラー法、ルンゲクッタ法の書き方がいまいちわかりません

  • 解決済

    sympyモジュールで変数を置き関数を設定しようとするとAttributeError: 'Mul' ...

    前提・実現したいこと symbol関数で変数を設定し、関数を定義し、方程式を解くプログラムを書こうと思っているのですが、関数定義のところでエラーが出てしまいます。 発生している

  • 解決済

    railsで出てくる#{ }について

    railsで出てくる<%= link_to '編集', "/tweets/#{tweet.id}/edit", method: :get %> のような時の#{}はどのような意味を

同じタグがついた質問を見る

  • Python

    7464questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。