機械学習でrelu関数を使うメリットについて

Question

こんにちは。

活性化関数としてrelu関数を使うメリットってなんでしょうか？

微分した値を消したくないのなら、そのまま恒等関数を使えば良いのではないでしょうか？

0以下の値が出力されると、その部分のノードの値は更新されなくなりますし、メリットがイマイチわからないのですが。。

Answer 1

あまり詳しくは無いので、これ以上は答えられませんが、

微分した値を消したくないのなら、そのまま恒等関数を使えば良いのではないでしょうか？

線形関数の線形関数は、1つの線形関数で表すことが出来ます。
そのため、線形関数を何層重ねても、一層で表すことが出来てしまうので、複数層重ねる意味が無くなってしまいます。
（こちらやこちらを参考）
よって、恒等関数では駄目で、reluなどの活性化関数を使う必要が出てきます。

Answer 2

活性化関数の役割は次のレイアのノードに信号を引き渡すことで初期のニューラルネットワークは0または1をバイアスを境に出力するものでした。したがって、恒等関数はこの役割を充足していないので、活性化関数として意味を持ちません。
この初期の活性化関数は出力結果が0または1と単純なもののため、中間的な事象をうまく表現できません。そこで、計算結果に応じて0～1の実数を出力するsigmoid関数が導入されることになります。しかしながら、このsigmoid関数を使った場合、勾配消失という問題が生じることが確認され、これを回避できるものとしてrelu関数が考案されました。

以上を踏まえて質問に回答すると、以下になると思います。

1.恒等関数が使用されない理由
活性化関数の本来の機能を果たせない（特に論理演算。よって回帰の場合、恒等関数でも問題ないことがある）

2.reluを用いるメリット
勾配消失を回避する
実際に勾配消失が発生するようなケースは相当複雑なモデルなので、それほど多層でなければsigmoidやtanhでも充分でしょう。