多層パーセプトロンについて

Question

趣味で深層学習を行なっており、独学で勉強しています。
現在はkerasで画像回帰を行っているのですがパラメータチューニングが上手くいきません。
隠れ層を増やし、NNを複雑化させれば誤差精度が向上すると考えていたのですが隠れ層のある層数を境に誤差精度が悪化しました。

なぜ層数を増やせば悪化するのでしょうか？
そして、深層学習の理論について勉強するのであればどの参考書、論文がおすすめなのか教えて頂ければ幸いです。

Answer 1

なぜ層数を増やせば悪化するのでしょうか？

層を追加するということはそれだけパラメータが増え、モデルの複雑性が増すということなので、解こうとしている問題に対して過剰に層を増やすと、過学習が生じ、汎化性能は悪くなります。

そして、深層学習の理論について勉強するのであればどの参考書、論文がおすすめなのか教えて頂ければ幸いです。

Keras などのライブラリの使い方の解説書籍は沢山でていますが、理論的な解説が載っている書籍というとそんなに数はありません。

例えば、深層学習 (機械学習プロフェッショナルシリーズ) があります。
本が出たのが2015年で少し古いのですが、ディープラーニングの基礎となっている枠組みは当時から変わらないので、理論的な内容を勉強したいのであれば、今でも有用と思います。

Comments

[menimani]

ご回答ありがとうございます。
隠れ層を増やせば訓練データの誤差精度は良くなり、検証データの誤差精度は悪くなるという認識でよろしいでしょうか？
理論についての本は紹介していただいた物を購入し勉強したいと思います。

[tiitoi]

過剰に層を増やしたモデルで学習を回し続ければ、過学習して学習データに対する推論精度はよくなり、検証データに対する精度は悪くなるので、その認識で合っていると思います。
問題に対して、適性な深さのモデルを用意するのがモデル設計になります。

また書籍は理論寄りの解説書として上に一つあげましたが数学書のような教科書寄りの内容になっていますので、手を動かしプログラミングしながら仕組みを学びたいタイプの場合は　ゼロからつくるディープラーニング　という本もあります。

[menimani]

返信が遅れて申し訳ございません。
とても役立つ意見ありがとうございます、ベストアンサーとさせていただきました。