機械学習 層数を多くするとは何を意味するのか知りたいです。

Question

機械学習　層数を多くするとは何を意味するのか知りたいです。

機械学習初心者です。
ニューラルネットワークで層数をと精度がどの様な関係にあるのか
活性化関数を使わずに実験を行なっていました。

そうすると、
２層から４層までは精度は上昇していましたが、
0.数％程度でしか変わりません。

これは活性化関数を含んでいないことから
何層を重ねても線形処理されることが、原因だと思っています。

具体的に層を重ねるとどの様に線形のプロットが変化するのか知りたいです。
現状MNISTで実験を行なっています。
MNISTではどの様に中で処理されているのか具体的にイメージしたいです。

ざっくりした質問で恐縮ですが、
何かアドバイスまたは参考になるサイトや文献がありましたら
教えていただけると助かります。

よろしくお願い致します。

Comments

[jbpb0]

活性化関数があるのが前提ですが、下記の28ページから、そのあたりのことが解説されてます
https://www.slideshare.net/trinmu/ss-161240890

Answer 1

おっしゃる通り、活性化関数を含まなければ線形関数のままなので、層をいくら増やしても表現力は変わりません。パラメータ数が増えた分、学習が大変になるだけで、結局はただのロジスティック回帰を行っているようなものです。理論的には十分学習した後に得られる関数は層数に限らず一緒です。つまるところ、ニューラルネットワークを利用する意味がないです。

ニューラルネットワークにおいて重要なのは、活性化関数による非線形変換で、シグモイド関数を利用した隠れ層が1層だけのニューラルネットワークでも、理論上は任意の関数を任意の精度で近似できることが知られています。ただし、隠れ層のノード数は膨大になることがあります。
（興味があれば普遍性定理あたりでググってみてください。詳しい理論的な部分は私も把握していません。）

一般には、活性化関数を絡めた場合、一つの層のノード数を増やしまくるよりは、ある程度層を深くするほうが、表現力が柔軟になりやすく、うまく学習ができるとされています。ただ、ここらへんの話は理論というよりは、経験則に基づくものだと感じています。

Comments

[watchdogs]

ご回答ありがとうございます。
普遍性定理のヒントありがとうございます！

一点追加でお伺いしたいのですが、

＞活性化関数を含まなければ線形関数のままなので、層をいくら増やしても表現力は変わりません。
ここで、層を増やすことによって線形の形、傾きなどは変化するのでしょうか、、、
よくわかっていなくて、
もしよろしければ教えてください。

[Amakaze]

あくまで私の認識なので、間違っていたら申し訳ないのですが、基本的には特徴空間上で線形分類器をクラス数だけ作ることになるので、最適となる超平面は変わらないと思います。

ただ、実際は学習アルゴリズムなどにより、若干のずれは生じると思います。

[watchdogs]

わかりました。
追加でまた申し訳ございませんが、
活性化関数をつけない限り線形になる
活性化関数を加えることで非線形になる
この仕組みもわかっていません。何kあ参考になるものがありましたらご教授願います。
よろしくお願い致します。

[Amakaze]

なぜ、と言われても全結合層は線形和をとる演算しかしていないため、線形なものしか得られず、活性化関数は非線形な変換を施す関数なので非線形なものになるとしか言えないのですが……。

少し調べた範囲では、下のブログあたりがイメージの参考になるとは思います。
https://blog.apar.jp/deep-learning/12216/
https://qiita.com/sano1202/items/6da5955add688f296c44

[watchdogs]

ご丁寧にありがとうございます。
頂いた記事を見てみます！

[toast-uz]

横から失礼して少し解説します。

線形変換はy=ax+bといった形で表されますが、さらにz=cy+dと変換しても、結局AとBをうまく取ると、z=Ax+Bと表されます。これが、線形変換を重ねても線形変換にしかならない、ということです。

一方、ReLUというマイナスは0、プラスはそのまま、と変換する活性化関数を当てはめると、y=ax+bという直線は、マイナス部分が0になります。その後、右下がりとなる直線であるz=-cy+d、さらにReLUを作用させると、三角形のパルス型になります。（イメージできますか？）
これを半分ずつずらして足し合わせると、台形のパルス型になります。この台形パルスは高さも幅も、両サイドの傾きも思いのままです。すると、両サイドの傾きが無限大近く切り立ち、幅が無限小近く狭いパルスを、たくさん集めることで、任意の曲線が表現できてしまいます。すなわち、活性化を通すことで、非線形の任意の変換が可能になったわけです。