Q&A
こちらは読まれていますでしょうか？
http://yusuke-ujitoko.hatenablog.com/entry/2017/06/15/201923
http://yusuke-ujitoko.hatenablog.com/entry/2017/06/15/214532
勾配消失問題はBNで解決しているが、それでも層を深くするとerrorが増える傾向があり、ResNetは、各blockのアンサンブル的な動きにより、問題解決している、みたいな論考で、面白いです。
ResNetが劣化問題を解決する仕組みについて伺いたいです。
論文や、解説のサイトを見て自分なりに解釈したのですが、それが正しいか不安なので間違い等ありましたらご指摘をお願い致します。
ある程度深い層ではそれなりの精度がすでに得られているため、入力と出力はほとんど恒等関数の状態
→その恒等関数の状態を保ちつつ、更に学習を行って精度を向上させるのは困難(これが劣化問題の原因)
→ショートカットを与えることによって、恒等関数を保つこと専用のルートをつくる。それにより本ルートは学習に専念できる。
→最後に学習した分と、恒等関数分を足し合わせる
抽象的な表現になってしまいましたが、このような解釈でよろしいでしょうか。
また、機械学習を学ぶ上で参考にした書籍に、ResNetは勾配消失問題を解決すると書かれてありました。しかし、論文には勾配消失問題はBatch Normalization等で殆ど解決済みであるとされており、他の質問者様も同じ解答を得られていました。
書籍には、ショートカット構造をとることで、逆伝播時に勾配をそのまま流すことができるので意味ある情報を届けることができると書かれております。
実際は層を深くするとBatch Normalizationでは勾配消失問題を解決しきれていないのでしょうか。そして、ResNetがそれを解決しているのでしょうか。
長文で申し訳ありませんが、どなたかご教授下さい。
ご助言ありがとうございます。
両記事拝見致しました。
拝見するに、スキップ構造は恒等関数の働きをするということでよろしいのでしょうか。
また、アンサンブル的な動きをするということは理解できました。層が増えるにつれてパスの種類が増え、恒等関数分の処理を行うパス、畳込みを行うパス、勾配をそのまま流すパス…など様々な特徴をもつ？パスがあるために精度が向上するということでしょうか。
私も詳しいわけではありませんが、そのような理解でよいと思います。
１点追記すると、ResNetの名前Residualに由来するように「残差」という概念があります。すなわち、恒等関数の効果により畳み込みは通常の位置づけではなく、差分のみを処理する動きになるということです。
なお、残差の説明はググればたくさんでてきますが、それを勾配消失問題対策として説明している記述が多く、最近の理解とやや違っていますので、ご注意ください。
詳しいご説明ありがとうございます。
残差学習について整理できました。
ひとつ質問なのですが、実際にResNetを用いて、CNN3層でも十分な精度を得ることができている画像に対して学習を行ってみました。ResNet18,34,50,101,152それぞれで検証すると、少しではありますが精度が低下していってしまいます。これは、ResNetにおいても劣化問題が起こってしまうほどに浅い学習で良いデータだったという解釈でよろしいのでしょうか。
万能なアルゴリズムは無く、与えられた問題に依ります。「ResNetにおいても劣化問題が起こってしまうほどに浅い学習で良いデータだった」といった一般論ではなく、たまたまその問題がそうだった、以上のことは言えません。
あなたの回答
tips
プレビュー
