質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

2回答

3176閲覧

誤差逆伝播に関して理解したい

menmenho-

総合スコア14

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

5クリップ

投稿2018/06/27 04:11

「ゼロから作るDeep Learning」と「ニューラルネットワーク自作入門」を読んでいて、2つの図書で反対のことが書かれているように思えました。
私の勘違いだと思いますが、その違いが理解できません。
うまく説明できないのですが

「ニューラルネットワーク自作入門」では
ノードAとBが合わさってノードCに情報で伝達され、答えとの誤差が計算される。
その誤差を逆方向に伝播させていくが、入力が大きいほうに大きい割合で誤差を割り振っていく
例えばA(400)、B(100)であれば、誤差の80%はAのほうから発生している
誤差の20%はBのほうから発生している
として逆伝播していくように書いていたと思います。

「ゼロから作るDeep Learning」では
誤差を逆伝播する際に、入力AとBの反対の割合で値をかけていく
例えばA(400)、B(100)であれば、誤差EとしてAには100E、Bには400Eと
逆の値がかけられています。

これはどちらの考え方が正しいのでしょうか?2つとも正しいことを言っていて
説明していることがそもそも違うのでしょうか?
文章がめちゃくちゃなので、2つの書籍を読んだ方で
質問の内容を推測していただけるかたいないでしょうか。
勝手なこと言ってますが・・・

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

quickquip

2018/06/27 08:24

「ゼロから作るDeep Learning」は135pを、「ニューラルネットワーク自作入門」は81pを見てますか?
menmenho-

2018/06/27 09:14

そうです、そこらへんです
guest

回答2

0

ベストアンサー

解答が出てこないので……

「ゼロから作るDeep Learning」の方は
入力値1×入力値2
というノードを○で書いていて

「ニューラルネットワーク自作入門」の方は
入力値1×重み1+入力値2×重み2
というノードを○で書いています。

違うものを説明してますね。


a×b のノードだと、aの方にb×誤差、bの方にa×誤差で、逆側の入力値をかけて伝播します。と「ゼロから作るDeep Learning」に書いてますね。

「ニューラルネットワーク自作入門」の方も同じですよ。掛け算のノードで逆側の入力値が伝播してます。

入力値1×重み1に注目すると、入力値1に(というか入力値1を出力した前のノードに)
重み1×誤差

入力値2に重み2×誤差
で伝播しますよね。

イメージ説明
黒が順伝搬、赤が逆伝搬

投稿2018/06/29 08:20

編集2018/06/29 08:40
quickquip

総合スコア11029

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

menmenho-

2018/06/29 08:23

実装の仕方の違いで誤差の計算方法が逆になるんですね ありがとうございました!
quickquip

2018/06/29 08:34

違います。逆になんてなってません。
menmenho-

2018/06/29 08:52

上図の右端で誤差が2股に分かれるときに、誤差が1/3、2/3のように入力の大きさに応じて 伝播するということでしょうか?
quickquip

2018/06/29 09:02

加算ノードなのでそんなことはないはずです。
quickquip

2018/06/29 09:18

すみません。その辺がどうにも解せなくて解答するのをためらっていたんです。
menmenho-

2018/06/29 09:27

ニューラルネットワーク自作入門」のp81にも等分にしたり、不均等に分割したりしているので同じ誤差を伝播してもいいのかもしれませんね(?)やり方次第で結果は対して変わらない(のかも?) とりあえず2つの本とも同じ解釈でいいと分かったので、勉強になりました。 ありがとうございました
guest

0

誤差逆伝播は、誤差を小さくするため、誤差関数を各変数で偏微分し、
変数の値を偏微分の逆方向へずらしていくことだと思います。

僕は「ゼロから作る…」のほうしか読んでませんが、
計算グラフで乗算ノードの場合、逆に伝わるというのは、
そのシンプルさを伝えるための表現だと思います。

乗算ノードを偏微分した場合、
Y = AB
∂Y/∂A=B Aを変化させたときYに与える影響がB
∂Y/∂B=A Bを変化させたときYに与える影響がA
となり、結果として、逆の値をかけることになります。

計算グラフを使う理由は、微分を効率よく計算できる点にある
と書いてあるので、誤差逆伝播を理解するためというより、
実際の計算プロセスを効率化するためのものであると考えた
ほうがいいかもしれないですね。

投稿2018/06/27 08:13

編集2018/06/27 08:17
退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

menmenho-

2018/06/29 08:23

ご回答ありがとうございました!
退会済みユーザー

退会済みユーザー

2018/06/29 09:35

参考になったなら、よかったです^^
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問