ReLU（ランプ関数）が活性化関数として用いられる意味が分かりません．

Question

ニューラルネットワークの活性化関数としてReLUがよく使われますが，いまいちメリットがわかりません．入力が0以上のとき，傾きが１なので勾配消失問題が解決されることは分かったのですが，それなら恒常関数ではダメなのですか？なぜわざわざ入力がマイナスのときの傾きを0としたほうがいいのですか？どうかご教授頂けると幸いです。よろしくお願いいたします。

Answer 1

恒常関数の場合、何段重ねても線形写像しか作れないことになります。

---

import numpy as np
import matplotlib.pyplot as plt
from sklearn.neural_network import MLPRegressor

X = np.linspace(0, 2*np.pi, num=100).reshape(-1, 1)
y = np.sin(X).ravel()

plt.plot(X.ravel(), y, label="true")
for hls in [(25, ), (50, ), (25, 25), (50, 50)]:
    mlp = MLPRegressor(hidden_layer_sizes=hls, activation="relu", 
                       max_iter=2000)
    mlp.fit(X, y)
    y_pred = mlp.predict(X)
    plt.plot(X.ravel(), y_pred, label=f"pred hidden_layer_sizes:{hls}")
plt.legend()
plt.show()

Comments

[GANONORs]

つまり出力が0という値をうまく使うことで写像の曲線を表現できるという解釈でよろしいですか？

[hayataka2049]

そうですね。
軽くコードを追記しましたが、これくらい行けます。

[GANONORs]

ご丁寧にありがとうございます．おかげさまで理解できました．