ニューラルネットワークに関する素朴な疑問

Question

パーセプトロンの頃は「閾値」がありましたが、ニューラルネットワークになって「活性化関数」が出てきました。これは全く同一のものと考えて良いのでしょうか？何か違いはありますか？

活性化関数にソフトマックス関数を用いることが多いと知りました。確率の機能をすることはわかります。も、exp(x)の代わりに絶対値やルートを求め、同じように平均をとっても良いのではないのでしょうか？なぜ、expなのですか？
また、順序が変わらないとのことで、実装しないことも多いというのですが、「あえて実装するとき」はどのようなときですか？

Answer 1

ニューラルネットワークになっても閾値は存在します。パーセプトロンの場合は計算結果が閾値を越えれば所定の値を次のノードに引き渡すという処理でしたが、ニューラルネットワークは、計算結果と閾値との差異の程度から次のノードに引き渡す値が変化するようにしています。
この変化の度合いを計算する機能が活性化関数と呼ばれるものです。よくある例えでいうと、画像を見て動物であれば１、それ以外であれば０を次のノードに引き渡すとした場合、「確実に動物である」から「動物ではない」までの間（つまり、「動物らしい」や「どちらともいえない」など）を0.8や0.5などの値で表現していると考えると何となくわかるかと思います。

活性化関数とsoftmax関数は少し違うものです。softmax関数は最終的にクラス（イヌ・ネコ・ネズミ）に属する可能性を表すものであり、活性化関数はsoftmax関数による計算に至るまでに用いられるものです。ただし、いくつかある活性化関数のうち、sigmoid関数は計算結果が0～1であること、0.5を中心に正規分布を変形したような形状であることなどからその結果を確率として扱うこともできます。しかしながら、そうした使い方はクラスが2値の場合に限られ、多クラス分類には使用できないので一般的とはいいがたいと思います。

softmax関数はexpを用いているものの、exp(x)だけで計算されているわけではありません。（計算式の説明などはhttps://mathtrain.jp/softmaxを参照するといいかと思います）これを使うことで多クラスの場合も各クラスに属する確率を計算できるので、モデル学習において便利なため用いいます。

softmaxによるクラスに属する確率の計算は、学習（ウェイトなどの更新）にとっては必須ですが、学習後の未知のデータを識別する際は、必ずしも必要ではありません。結局のところ、softmax関数のインプットが大きければ関数のアウトプットも大きくなるという意味で順序に相違はないため、softmax関数のインプットの段階で最も大きいものを識別結果としてもかまわないとしているケースが多いと思います。

Comments

[退会済みユーザー]

解釈が正しいのか確認するために質問します。

>ニューラルネットワークは、計算結果と閾値との差異の程度から次のノードに引き渡す値が変化するようにしています。
閾値は活性化関数と等しいのではなく、「バイアス」と等しいということですか？

>活性化関数とsoftmax関数は少し違うものです。
softmax関数は活性化関数の補集合だと考えていたのですが、これは誤りですか？

>活性化関数はsoftmax関数による計算に至るまでに用いられるものです。
活性化関数は「隠れ層」における「どのように発火するか」を求めるための関数であり、softmax関数は「隠れ層と出力層の両方」において、どのように発火するかを求めることができる関数であるということですか？

>各クラスに属する確率を計算できるので、モデル学習において便利なため用いいます。softmaxによるクラスに属する確率の計算は、学習（ウェイトなどの更新）にとっては必須...
推論には順序が変わらないため、実装しないが、学習にはウェイト更新に役立つため、実装するということですか？また、ウェイト更新に求まった確率がどのように作用するのでしょうか？教師データとの誤差を求めるためですか？

質問が多くてすみません。もやもやしたままにしたくないです。回答よろしくお願いします。

[R.Shigemori]

閾値とバイアスは同じものとしていいと思います。コードイメージy=wx+b(x,y,w,bはいずれもtensor)のbにあたるものです。

活性化関数とsoftmax関数は似て非なるものです。上記のy=wx+bを受けてp=sigmoid(y)で計算され（活性化関数はsigmoidだけではない）、次のノードでpをインプットにして計算が行われます。softmax関数はいわゆる出力層で使用するもので、元の入力値がどのクラスに属するかを確率で表現するためのものです。softmax関数を隠れ層で使用してはいけないというルールがあるわけではないので、実装してもいいと思いますが、見たことがないので、活性化関数とsoftmax関数は別ものという整理でいいと思います。

出力層でsoftmax関数で確率に換算するのは、教師データとの誤差を計算するためです。ウェイトなどの更新を担当するoptimizerはこの誤差に基づき更新を行います。学習終了後は更新をする必要がないので、softmax関数による計算はなくてもいいことになります

[退会済みユーザー]

丁寧な解説ありがとうございました。非常に納得でき、理解が深まりました。今後も似たような質問をするかもしれません。また、回答よろしくお願いします。

本当に回答ありがとうございました。