質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

Q&A

解決済

1回答

1405閲覧

ニューラルネットワークの理論

assa

総合スコア35

深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

0グッド

0クリップ

投稿2020/09/13 13:22

内容は
deep learning(深層学習)という本の131ページです

出力ユニットとコスト関数についての質問です。
(ベルヌーイ出力分布のためのシグモイドユニット)

出力層ユニットを
z=w^th+b
wは重みです。
これをシグモイド関数に当てはめます。
y’=sigmoid(z)
ここまではわかるのですが、つぎからがわかりません。
yは0か1です。
logP'(y)=yz
P'(y)=exp(yz)
P(y)=exp(yz)/Σexp(yz)
P(y)=sigmoid((2y-1)z)
という式の意味が分かりません。

sigmoid関数で出力を出すだけだと思っていました。
どうか教えてください。
省略しすぎてわかりにくいかもしれません。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

aokikenichi

2020/09/14 03:30

ソフトマックスのところと思いますが、どの本でしょうか 同名の本が多いので出版社名か著者名を付記いただけますか。私の持っている本なら確認してみたいので。
assa

2020/09/14 03:35

著者名がIan Goodfellowの本です。花の絵がいっぱいあるやつです。 英語版だと178ページで日本語版で131ページです。
aokikenichi

2020/09/14 03:46

わ、がっつりので勉強されてますね。今手元になく、自宅に帰ってから調べてみます。 でも、他の方から先に回答がつくかもです。お急ぎであれば「ソフトマックス」等で検索すると出てくるかもしれません。 https://qiita.com/SabanoMizuni/items/ab4b73cd9b8e733da11a sigmoidの出力すべてを1に標準化して、今回の場合は0の確率は?1の確率は?と出すイメージです。
assa

2020/09/14 03:50

親切にありがとうございます。
assa

2020/09/15 11:14

調べてみたけれどわからなかったです。
guest

回答1

0

ベストアンサー

すみません回答が遅くなりました
『DEEP LEARNING 深層学習』Ian Goodfellow アスキードワンゴ ですね。

P’ ではなく P~(Pの上にチルダ)ですね
テキスト内に記載がありますがP~は正規化されておらず積分(足して)も1になりません。
確率として扱いたいので積分して1にする必要があります。

logP~(y)=yz
はいいですかね。logとexpの関係から
P~(y)=exp(yz)
はいいですよね。

P(y)=exp(yz)/Σexp(y’z)
y’が0と1なので0のときと1のときを足したのを分母にしているので全体で正規化されています。
正規化したのでチルダをとってP(y)になりました。

Σexp(y’z)=exp(0)+exp(z)=1+exp(z)
ここでyは0か1なのでそれぞれ計算して
P(0)=1/(1+exp(z))
P(1)=exp(z)/(1+exp(z))

P(y)=sigmoid((2y-1)z)
おなじくyは0か1なので
p(0)=sigmoid(-z)=1/(1+exp(z))
p(1)=sigmoid(z)=1/(1+exp(-z)=exp(z)/(1+exp(z))

よって
P(y)=exp(yz)/Σexp(y’z)
=sigmoid((2y-1)z)

となります。
こんなんでよろしいでしょうか。

投稿2020/09/15 14:09

aokikenichi

総合スコア2240

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

assa

2020/09/15 15:05

回答ありがとうございます。 最初の部分のlogP=yzのところはどのような意味があるのでしょうか。 yzの積の意味があまり理解できていません。 何回もすみません。
assa

2020/09/16 15:35

これロジスティクス関数に入れると確率が出るってことを 言ってるだけにおもいました。
aokikenichi

2020/09/17 00:13

そうなのですが上手い説明が思いつかず時間が掛かってました 概ね大丈夫そうでしょうか また何かありましたら
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問