活性化関数ReLUについて

Question

ニューラルネットワークで使われる活性化関数のReLUで、なぜ非線形の関数が表現できるのでしょうか？

確かに「xが0以下の時は0、0より大きい時はxそのものの値を出す」ので、ReLUの関数自体は非線形ですが、
実際の学習時には、zそのものが出力で返されるだけなので、非線形性を表現できないと思ったのですが、
なぜ、ReLUで非線形性を表現できるのか？を教えていただきたいです。

よろしくお願いいたします。

Answer 1

zが負であれば出力されないため、そこで非線形性が生じます。

逆に言うと、zが正なら入力そのままになるしかないので、たとえばサイン関数を表現させると（特にユニット数が少ない場合）カクカクになります。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.neural_network import MLPRegressor

X = np.arange(0, 10, 0.01).reshape(-1, 1)
y = np.sin(X.ravel())

mlp = MLPRegressor(hidden_layer_sizes=(20, ), activation="relu",
                   batch_size=10,
                   learning_rate_init=0.01, max_iter=1000)
mlp.fit(X, y)
y_pred = mlp.predict(X)
plt.plot(X.ravel(), y_pred)
plt.show()