ニューラルネットワークの理論

Question

内容は
deep learning(深層学習)という本の131ページです

出力ユニットとコスト関数についての質問です。
（ベルヌーイ出力分布のためのシグモイドユニット）

出力層ユニットを
z=w^th+b
wは重みです。
これをシグモイド関数に当てはめます。
ｙ’＝sigmoid(z)
ここまではわかるのですが、つぎからがわかりません。
ｙは０か1です。
logP'(y)=yz
P'(y)=exp(yz)
P(y)=exp(yz)/Σexp(yz)
P(y)=sigmoid((2y-1)z)
という式の意味が分かりません。

sigmoid関数で出力を出すだけだと思っていました。
どうか教えてください。
省略しすぎてわかりにくいかもしれません。

Comments

[aokikenichi]

ソフトマックスのところと思いますが、どの本でしょうか
同名の本が多いので出版社名か著者名を付記いただけますか。私の持っている本なら確認してみたいので。

[assa]

著者名がIan Goodfellowの本です。花の絵がいっぱいあるやつです。
英語版だと178ページで日本語版で１３１ページです。

[aokikenichi]

わ、がっつりので勉強されてますね。今手元になく、自宅に帰ってから調べてみます。

でも、他の方から先に回答がつくかもです。お急ぎであれば「ソフトマックス」等で検索すると出てくるかもしれません。
https://qiita.com/SabanoMizuni/items/ab4b73cd9b8e733da11a

sigmoidの出力すべてを1に標準化して、今回の場合は0の確率は？1の確率は？と出すイメージです。

[assa]

親切にありがとうございます。

[assa]

調べてみたけれどわからなかったです。

Answer 1

すみません回答が遅くなりました
『DEEP LEARNING 深層学習』Ian Goodfellow アスキードワンゴ ですね。

P’ ではなく P~（Pの上にチルダ）ですね
テキスト内に記載がありますがP~は正規化されておらず積分（足して）も1になりません。
確率として扱いたいので積分して1にする必要があります。

logP~(y)=yz
はいいですかね。logとexpの関係から
P~(y)=exp(yz)
はいいですよね。

P(y)=exp(yz)/Σexp(y’z)
y’が0と1なので0のときと1のときを足したのを分母にしているので全体で正規化されています。
正規化したのでチルダをとってP(y)になりました。

Σexp(y’z)=exp(0)+exp(z)=1+exp(z)
ここでyは0か1なのでそれぞれ計算して
P(0)=1/(1+exp(z))
P(1)=exp(z)/(1+exp(z))

P(y)=sigmoid((2y-1)z)
おなじくyは0か1なので
p(0)=sigmoid(-z)=1/(1+exp(z))
p(1)=sigmoid(z)=1/(1+exp(-z)=exp(z)/(1+exp(z))

よって
P(y)=exp(yz)/Σexp(y’z)
=sigmoid((2y-1)z)

となります。
こんなんでよろしいでしょうか。

Comments

[assa]

回答ありがとうございます。

最初の部分のlogP=yzのところはどのような意味があるのでしょうか。
yzの積の意味があまり理解できていません。
何回もすみません。

[assa]

これロジスティクス関数に入れると確率が出るってことを
言ってるだけにおもいました。

[aokikenichi]

そうなのですが上手い説明が思いつかず時間が掛かってました
概ね大丈夫そうでしょうか
また何かありましたら