ニューラルネットワークの多層化の目的、メリットを教えていただきたいです

Question

こんにちは
深層学習について勉強をしています。
ニューラルネットワークにおいて中間層を増やす目的、メリットをご教授いただきたいです。
よろしくお願いいたします。

Answer 1

ニューラルネットワークにおいて中間層を増やす目的、メリットをご教授いただきたいです。

パラメータが多いほうがモデルの表現力が上がるので、精度が向上する傾向があるためです。
以下、CNN モデルのパラメータ数と ImageNet の Top-5 エラー率の例ですが、パラメータ数が多いとエラー率が低い傾向があります。

モデル名	パラメータ数	Top-5 エラー率
AlexNet	61100840	20.91
VGG-16	138357544	11.37
ResNet-50	25557032	7.13
ResNet-152	60192808	5.94
Wide ResNet-101-2	126886696	5.72

データ引用元

パラメータ数を増やすと、過学習が生じやすくなる、計算量が増えるなどのデメリットもあるので、最近の研究は精度を下げないで、パラメータをどうやったら減らせるかという段階にシフトしています。

Comments

[GK.1225]

回答ありがとうございます。理解が進みました。
追加の質問で恐縮なのですが、なぜパラメーターを増やすことで表現力が上がるのでしょうか？

論理回路を用いて考えたときに、単層ではXORが表現できず、層を増やすことでその問題が解決することを知りました。そういった部分が表現力の向上に繋がっているのではと自分では考えています。
ですが、実際にニューラルネットワークを考えたときに論理回路的な考え方が繋がりません。

[tiitoi]

ニューラルネットワークも関数です。
パラメータが多いほど、複雑な関数を表現できるようになります。
以下は最小二乗法の話ですが、パラメータ数 = 関数の複雑性 というのは同じだと思います。
https://datachemeng.com/overfitting/

ディープラーニングは理論面での解析はあまり進んでないので、理論的な証明というのは現状ないでしょう。層やパラメータを増やすと精度が上がるというのは実験で得られた結果です。

[GK.1225]

実験の結果からの推定によって精度が上がり、表現力も上がっていることになるのですね。イメージがしやすくなったと感じました。ありがとうございました。

Answer 2

これは解明しきれておりません。諸説あります。

1. 情報理論的な理由
   他者の回答の通り、パラメータを増やすことが出来るので、対応できる事象が増えます。が、学習データ次第では過学習を起こし、未知の状態への応用が利きにくくなります。

2. 生化学的な理由
   例えば、エネルギー節約、小型軽量化、発生学的（あるいは進化学）、耐病等の理由によって多層構造となっているだけかもしれません。要するに情報理論的な理由とは別問題である可能性も否定できません。このケースの場合、コンピュータ上で多層構造を採用する必要性は小さくなります。

Comments

[GK.1225]

回答ありがとうございます。理解がしやすくなりました。