Q&A
同じ質問を連発しないようにご注意ください＝＞https://teratail.com/questions/100695
【質問の背景】
NN(BPマシン)の自体は数十年前にすでに存在しました。
層数が多いほど、認識精度が向上することも前から知られていました。
ただ、隠れ層が数枚あるだけでも、BPで認識エラーをうまく伝達できないという事情[注1]があって、
なかなか実用化できませんでした。
[注1] 前の層へのエラーfeedback値は衰弱して0になるか、発散してしまう。
【質問】
じゃー、現在deep layersにおいて、
どうやって前記問題(BPで認識エラーをうまく伝達できない)が解決されたのでしょうか。
１．本当に革命的な数学方法が見つけられたのでしょうか。
２．これまでのBP(Back Propagation)をやめて、異なる方法で実現されたのでしょうか。
３．依然BPだが、色々トリックや小技をごちゃごちゃ併せて成り立ったのでしょうか。
上記のどれでしょうか。
どうぞ宜しくお願い致します。
【ごめんなさい！
多くの有識者のご意見をお伺いしたいので、すぐベストアンサーを付けません】
回答1件
0
ベストアンサー
その三択だと、、、３、ですかね。。。
学習としては誤差逆伝搬して、重みを更新してをひたすら繰り返すので。
歴史的な話は、以下のスライドが丁寧にまとめてくれていますのでご覧になってみてはいかがでしょうか？
現時点でも単純にネットワークを深くするだけでは性能は上がらないです。
なので、それを改善するネットワークの構成手法が提案されていたりします。
GoogLeNetのinception moduleとか、ResNetのShortcut Connectionとか。
あとは、
- 活性化関数を見直したりとか（最初の頃はsigmoidとかtanhとか、今はReLUとかそれの亜種）
- 正規化工夫したりとか（LCN、LRN、Batch Normalizationなど）
- dropout入れて、過学習を防ぎながら学習とか
- 最適化手法を見直したりとか（AdamとかSGDとか）
等、様々なアプローチが研究されている感じです。
投稿2017/11/16 05:43
総合スコア379
勾配消失しにくいようなReLUなどは数学的と分類されるのだろうか…微妙かな。
http://nnadl-ja.github.io/nnadl_site_ja/chap5.html
基本的にネットワークの形状を変えて（ResNetとか）学習しやすくしたり、一部の重みを固定してネットワークを拡張しながら学習させたり。
BPで学習しないNNを知らないので、私も気になります。
追記：調べると色々出るのですね。実装してみたことがないのでなんともいえませんが、リンクだけ。
https://medium.com/@rilut/neural-networks-without-backpropagation-direct-feedback-alignment-30d5d4848f5
mkgreiさん
非常におもしろい、そして興味深いリンクを教えて頂き、ありがとうございました。
BPを使わない、というアプローチもされているんですね、全然知りませんでした。。。
これはこれでかなり気になるところなので、試してみたいところです
CNN＋DL: 技術性・アート性及び応用面,いずれも魅力的ですが、なぜかQ/A参加者は少ない感じです。
t_masaさんとmkgreiさんのような方は貴重な存在ですね。
あなたの回答
tips
プレビュー
