回答編集履歴

2 f

tiitoi

tiitoi score 21402

2021/01/25 22:42  投稿

> 5層目から急に精度が落ちた原因の考察がわからず悩んでいます。
層を増やすほど、調整しなければならないパラメータが増えて学習は難しくなります。
層数を増やすことによるデメリット
* 学習するパラメータ数が多くなり、調整するためにより大量のデータが必要になる
* 過学習が起こりやすくなり、汎化性能が落ちる
* 勾配消失問題が起こって学習が進まなくなる
* 計算量が増える
etc...
なので、層を増やすほど精度が上がるというわけではありません。
なので、層を増やすほど精度が上がるというわけではありません。質問のように全結合層を重ねただけのモデルでは3層ぐらいが限界でしょう。
タスクの難しさ (MNIST は簡単) やデータ量に応じて、適した層の数というのは変わり、どのくらいがよいかは実験しなければわかりません。
今回、4層のときが一番良かったのであれば、それが適した層数だったということです。
ショートカット構造を導入した ResNet を使うと層数をもう少し増やしても学習はうまくいくかもしれません。
1 s

tiitoi

tiitoi score 21402

2021/01/25 22:40  投稿

> 5層目から急に精度が落ちた原因の考察がわからず悩んでいます。
層を増やすほど、調整しなければならないパラメータが増えて学習は難しくなります。
層数を増やすことによるデメリット
* 学習するパラメータ数が多くなり、調整するためにより大量のデータが必要になる
* 過学習が起こりやすくなり、汎化性能が落ちる  
* 勾配消失問題が起こって学習が進まなくなる
* 計算量が増える
etc...
なので、層を増やすほど精度が上がるというわけではありません。
タスクの難しさ (MNIST は簡単) やデータ量に応じて、適した層の数というのは変わり、どのくらいがよいかは実験しなければわかりません。
今回、4層のときが一番良かったのであれば、それが適した層数だったということです。
ショートカット構造を導入した ResNet を使うと層数をもう少し増やしても学習はうまくいくかもしれません。

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る