深層学習の「層」の分け方は？

Question

最近深層学習を勉強したいですが、
その基本的な概念----層についてまだはっきりしていません。
いろいろDNNのブロック図を見て、以下のような感覚を持ちましたが、
正しいかどうか教えてください。

フィルターの結果を同じpoolに纏められたのは一つの層と呼び、
１．同じ層に属するフィルターの数は複数可能。
２．同じ層であれば、フィルター処理(convolution)の対象は同じでなけれならない。

３．同じ層であっても、フィルターの種類(係数＝学習対象)が異なることは可能で、
フィルターのサイズもまちまちで大丈夫。

===============それとも
★★　同じ層に複数filterが存在するのではなく、一つのfilterは「一つの層」と呼ぶ？？

★★　そして　異なるfilter(層)が同じpoolに纏められる？
いやーーー自分に何のアイディアもなくなっちゃった！

Answer 1

ディープニューラルネットワークにおいてconvolution層やpool層は、画像データのような複雑なデータに対して高い識別性能を獲得するための工夫のようなものであって、コア技術とは思えません。かなり乱暴な言い方をすると、convolution層やpool層がなくてもディープニューラルネットワークをモデル化することは可能です。
したがって、層の概念について理解をしたいのであれば、最もコアであるニューラルネットワークは、どのような構造になっているのかについて調べたほうがいいかと思います。実際にディープニューラルネットワークの解説書においてconvolution層やpool層は後半に記述されているケースが普通であり、冒頭はシンプルなニューラルネットワーク（ものによってはパーセプトロン）から始まっています。
腰を落ち着けて学びたいのであれば、オライリージャパンの『ゼロから作るDeepLearning』を読解することをお勧めします。その上でtensorflowなどの実装例を眺めると、コードの理解が進むかと思います。

Comments

[oookabe]

俺も勉強になりますね。

[leilei]

さすが！　
私は概念的に曖昧な処がありました。
ご指導ありがとうございます。

Answer 2

たぶん畳み込みニューラルネットワーク(CNN)に関連するご質問だと思うのですが、レイヤーとフィルタ、チャネルの関係が整理できてないように見えます。

まずはこの辺りで"多チャンネルのフィルタ"というものを調べてみてはいかがでしょうか。

Comments

[oookabe]

「この辺り」自分も勉強になります。

[leilei]

おっしゃるとおりです！
CNNの話ですね。
確かに頂いたリンクは素晴らしいです。

有難うございました！

Answer 3

https://keras.io/ja/layers/core/

ある入力にある処理を施して出力を得るものを「層」と呼んでいることが多いのではないでしょうか。

「関数」みたいなもので、合成することもできます。
合成してできたものも「関数」ですが、固有の名前がないことが多いです。

ResNetなどでは「Block」と表現していることが一般的のようです。
https://qiita.com/ikeyasu/items/ea9ced2b8e0fcb3da2be

Comments

[leilei]

そうですか。とても勉強になります。
有難うございます！

[leilei]

ResNetに関するリンクは凄いですね。
合わせてお礼を申し上げます。