ニューラルネットワークにおける最尤法

Question

ニューラルネットワークの分類モデルにおいて最尤法がどの部分で用いられているのかが知りたいです。
式を見た限り，交差エントロピー誤差の部分のような気がしているのですが，正しいでしょうか，，，

またソフトマックス関数を用いている場合，ニューラルネットワーク後の出力としては2値問題であれば，（0.1）や（-1.1）であると思っているのですが，出力をそれぞれの確率で表現することもできるのでしょうか？

Answer 1

前者についてはそうですね。
ご参考

Wikipedia:交差エントロピー

後者についてはちょっと違います
ベクトルを入力として書く要素の値を0-1に抑え込み、合計を1、つまり確率とするのがソフトマックス関数です。
二値問題であればTrue/Falseについて(0.9, 0.1)となり、通常0.5を閾値として、この値ならばTrueと判断すると使うと思います。
そして「それぞれの確率で表現することもできるのでしょうか」というよりもソフトマックス関数の出力自体を確率とみなす、ということです。

ご参考
シグモイド関数とソフトマックス関数

Comments

[reonald]

ではソフトマックス関数で得られた確率が，最尤法の言葉を借りるなら，一番尤もらしい確率となるといった考え方でよろしいですか，，，？

[aokikenichi]

ソフトマックス関数自体は最尤法ではないのでちょっと微妙ですが
ソフトマックス関数自体は入力値を確率に変換するというところでしょうか。

[reonald]

ではソフトマックス関数への入力値はどこからくるんでしょうか？

[aokikenichi]

ニューラルネットワーク関連のことを少しは学ばれたことはあるのでしょうか。
その前の層からですが。

学ぶ気があるのでしょうか。
ニューラルネットワーク　ソフトマックス
あたりでググればたくさん記事が出てきますが。

そもそもTeratailはプログラミングの疑問のQ&Aサイトです。
記事とかでわかりにくい点を聞くならまだしも、調べればすぐ分かる点を矢継ぎ早に、しかももとの回答とは別の点を繰り返し訪ね続けるのはいささかマナー違反と思います。

[reonald]

承知しました。申し訳ございません。