質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.52%

  • Python

    7905questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

誤差逆伝播に関して理解したい

解決済

回答 2

投稿

  • 評価
  • クリップ 5
  • VIEW 929

menmenho-

score 6

「ゼロから作るDeep Learning」と「ニューラルネットワーク自作入門」を読んでいて、2つの図書で反対のことが書かれているように思えました。
私の勘違いだと思いますが、その違いが理解できません。
うまく説明できないのですが

「ニューラルネットワーク自作入門」では
ノードAとBが合わさってノードCに情報で伝達され、答えとの誤差が計算される。
その誤差を逆方向に伝播させていくが、入力が大きいほうに大きい割合で誤差を割り振っていく
例えばA(400)、B(100)であれば、誤差の80%はAのほうから発生している
誤差の20%はBのほうから発生している
として逆伝播していくように書いていたと思います。

「ゼロから作るDeep Learning」では
誤差を逆伝播する際に、入力AとBの反対の割合で値をかけていく
例えばA(400)、B(100)であれば、誤差EとしてAには100E、Bには400Eと
逆の値がかけられています。

これはどちらの考え方が正しいのでしょうか?2つとも正しいことを言っていて
説明していることがそもそも違うのでしょうか?
文章がめちゃくちゃなので、2つの書籍を読んだ方で
質問の内容を推測していただけるかたいないでしょうか。
勝手なこと言ってますが・・・

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • quiqui

    2018/06/27 17:24

    「ゼロから作るDeep Learning」は135pを、「ニューラルネットワーク自作入門」は81pを見てますか?

    キャンセル

  • menmenho-

    2018/06/27 18:14

    そうです、そこらへんです

    キャンセル

回答 2

checkベストアンサー

0

解答が出てこないので……

「ゼロから作るDeep Learning」の方は
入力値1×入力値2
というノードを○で書いていて

「ニューラルネットワーク自作入門」の方は
入力値1×重み1+入力値2×重み2
というノードを○で書いています。

違うものを説明してますね。


a×b のノードだと、aの方にb×誤差、bの方にa×誤差で、逆側の入力値をかけて伝播します。と「ゼロから作るDeep Learning」に書いてますね。

「ニューラルネットワーク自作入門」の方も同じですよ。掛け算のノードで逆側の入力値が伝播してます。

入力値1×重み1に注目すると、入力値1に(というか入力値1を出力した前のノードに)
重み1×誤差

入力値2に重み2×誤差
で伝播しますよね。

イメージ説明
黒が順伝搬、赤が逆伝搬

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/06/29 17:23

    実装の仕方の違いで誤差の計算方法が逆になるんですね
    ありがとうございました!

    キャンセル

  • 2018/06/29 17:34

    違います。逆になんてなってません。

    キャンセル

  • 2018/06/29 17:52

    上図の右端で誤差が2股に分かれるときに、誤差が1/3、2/3のように入力の大きさに応じて
    伝播するということでしょうか?

    キャンセル

  • 2018/06/29 18:02

    加算ノードなのでそんなことはないはずです。

    キャンセル

  • 2018/06/29 18:18

    すみません。その辺がどうにも解せなくて解答するのをためらっていたんです。

    キャンセル

  • 2018/06/29 18:27

    ニューラルネットワーク自作入門」のp81にも等分にしたり、不均等に分割したりしているので同じ誤差を伝播してもいいのかもしれませんね(?)やり方次第で結果は対して変わらない(のかも?)
    とりあえず2つの本とも同じ解釈でいいと分かったので、勉強になりました。
    ありがとうございました

    キャンセル

0

誤差逆伝播は、誤差を小さくするため、誤差関数を各変数で偏微分し、
変数の値を偏微分の逆方向へずらしていくことだと思います。

僕は「ゼロから作る…」のほうしか読んでませんが、
計算グラフで乗算ノードの場合、逆に伝わるというのは、
そのシンプルさを伝えるための表現だと思います。

乗算ノードを偏微分した場合、
Y = AB
∂Y/∂A=B Aを変化させたときYに与える影響がB
∂Y/∂B=A Bを変化させたときYに与える影響がA
となり、結果として、逆の値をかけることになります。

計算グラフを使う理由は、微分を効率よく計算できる点にある
と書いてあるので、誤差逆伝播を理解するためというより、
実際の計算プロセスを効率化するためのものであると考えた
ほうがいいかもしれないですね。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/06/29 17:23

    ご回答ありがとうございました!

    キャンセル

  • 2018/06/29 18:35

    参考になったなら、よかったです^^

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.52%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python

    7905questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。