質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

最適化

最適化とはメソッドやデザインの最適な処理方法を選択することです。パフォーマンスの向上を目指す為に行われます。プログラミングにおける最適化は、アルゴリズムのスピードアップや、要求されるリソースを減らすことなどを指します。

Q&A

解決済

2回答

11481閲覧

ニューラルネットワークの多層化の目的、メリットを教えていただきたいです

GK.1225

総合スコア22

深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

最適化

最適化とはメソッドやデザインの最適な処理方法を選択することです。パフォーマンスの向上を目指す為に行われます。プログラミングにおける最適化は、アルゴリズムのスピードアップや、要求されるリソースを減らすことなどを指します。

0グッド

1クリップ

投稿2020/05/24 04:31

こんにちは
深層学習について勉強をしています。
ニューラルネットワークにおいて中間層を増やす目的、メリットをご教授いただきたいです。
よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

ニューラルネットワークにおいて中間層を増やす目的、メリットをご教授いただきたいです。

パラメータが多いほうがモデルの表現力が上がるので、精度が向上する傾向があるためです。
以下、CNN モデルのパラメータ数と ImageNet の Top-5 エラー率の例ですが、パラメータ数が多いとエラー率が低い傾向があります。

モデル名パラメータ数Top-5 エラー率
AlexNet6110084020.91
VGG-1613835754411.37
ResNet-50255570327.13
ResNet-152601928085.94
Wide ResNet-101-21268866965.72

データ引用元

パラメータ数を増やすと、過学習が生じやすくなる、計算量が増えるなどのデメリットもあるので、最近の研究は精度を下げないで、パラメータをどうやったら減らせるかという段階にシフトしています。

投稿2020/05/24 04:41

編集2020/05/24 04:43
tiitoi

総合スコア21956

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

GK.1225

2020/05/24 05:00

回答ありがとうございます。理解が進みました。 追加の質問で恐縮なのですが、なぜパラメーターを増やすことで表現力が上がるのでしょうか? 論理回路を用いて考えたときに、単層ではXORが表現できず、層を増やすことでその問題が解決することを知りました。そういった部分が表現力の向上に繋がっているのではと自分では考えています。 ですが、実際にニューラルネットワークを考えたときに論理回路的な考え方が繋がりません。
tiitoi

2020/05/24 05:22

ニューラルネットワークも関数です。 パラメータが多いほど、複雑な関数を表現できるようになります。 以下は最小二乗法の話ですが、パラメータ数 = 関数の複雑性 というのは同じだと思います。 https://datachemeng.com/overfitting/ ディープラーニングは理論面での解析はあまり進んでないので、理論的な証明というのは現状ないでしょう。層やパラメータを増やすと精度が上がるというのは実験で得られた結果です。
GK.1225

2020/05/25 14:54

実験の結果からの推定によって精度が上がり、表現力も上がっていることになるのですね。イメージがしやすくなったと感じました。ありがとうございました。
guest

0

これは解明しきれておりません。諸説あります。

  1. 情報理論的な理由

他者の回答の通り、パラメータを増やすことが出来るので、対応できる事象が増えます。が、学習データ次第では過学習を起こし、未知の状態への応用が利きにくくなります。

  1. 生化学的な理由

例えば、エネルギー節約、小型軽量化、発生学的(あるいは進化学)、耐病等の理由によって多層構造となっているだけかもしれません。要するに情報理論的な理由とは別問題である可能性も否定できません。このケースの場合、コンピュータ上で多層構造を採用する必要性は小さくなります。

投稿2020/05/24 05:30

編集2020/05/24 05:38
HogeAnimalLover

総合スコア4830

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

GK.1225

2020/05/25 14:54

回答ありがとうございます。理解がしやすくなりました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問