ニューラルネットワークについて

Question

質問したいこと

素人質問失礼いたします。
ニューラルネットワークには種類があり、DNN(ディープニューラルネットワーク)、CNN(畳み込みニューラルネットワーク)、RNN(再帰型ニューラルネットワーク)を最近知りました。
さらに、その中でもCNN(畳み込みニューラルネットワーク)のモデルVGG16やVGG19などがありますが、DNN(ディープニューラルネットワーク)やRNN(再帰型ニューラルネットワーク)にもそのようなモデルはあるのでしょうか。また、この解釈であっていますでしょうか。
人任せの質問ではありますが、ご教授して頂けると幸いです。

Answer 1

素人ですが解答します．

種類の範囲としては，VGG系 ⊂ DCN(Deep CNN) ⊂ DNN ⊂ NNじゃないでしょうか．隠れ層が2層以上でDNNであることは有名なはずです．下記画像にアーキテクチャの例を示します(画像引用元リンク)．DNNは次の画像で言うDFFで，Deepが付くものはすべてDNNにカテゴライズできるはずです．同様に，Recurrent/Memory Cellを持つ構造でカテゴライズしてGRU, LSTM ⊂ RNNです．

特に，時系列的解釈を要求するときにRNN/LSTM/Transformerを利用し，波形/画像/3Dデータ等の非構造データの特徴抽出にConvolutionを利用することを基礎として考えておいた方が良いでしょう．RNNとCNNを併用したモデルだって作れる上に，画像の特徴量の位置的解釈にRNN/LSTMを使うよりもAttentionを利用したTransformerを使うのが良さそうだってことでViTが出てきてますし，分類し切れるものとは限らなくなってきています．

• CNN
  • LeNet
  • MobileNet
  • VGG
  • Deep Residual CNN
    • ResNet
    • EfficientNet
    • MobileNetV2
• RNN
  • LSTM
  • GRU
• Attention
  • Transformer
    • BERT
    • GPT
    • ViT

流行りの分類/回帰モデルを知りたいのであれば，Kaggleで開催されるデータコンペのDiscussionの項目を確認すると良いでしょう．自然言語処理や音声処理，動画処理コンペには時系列的解釈が要求され，非構造データを扱うコンペではConvolutionを使った特徴抽出が要求されるなかで，これらを処理できるNNアーキテクチャの活用具合がうかがえると思います．Discussionではコンペで高いスコアを出した人たちが，忘備録としてVGG系を使っただとかResidual Connectを使ったResNet系を使っただとか，Self-Attentionを使っただとかTransformer系であるBERTを使っただとか，様々な記録を残してくれています．

例えば，キャッサバの病気を特定するコンペでは1位の人の解法が見れます．ResNet，ViT，EfficientNet，MobileNetを利用してアンサンブル学習をしていることが分かります．

モデルの特性に応じた活用を学んでいただければ幸いです．

Comments

[fourteenlength]

「素人ですが」の響きに学会発表での質疑応答「素人質問で恐縮ですが」と同じにおいを感じました:)

[ps_aux_grep]

教授から論文投稿必要な学会行かされようとして早2年，論文未投稿のまま時間が過ぎているので素人です...