活性化関数ReLUについて

Question

階層型ニューラルネットワークでの活性化関数についての質問になります。

現在、活性化関数は中間層と出力層ともにシグモイド関数を用いているのですが、中間層のみReLU関数にしようと考えています。

tensorflowでの実装の仕方を調べたところ、ReLU関数の引数のところの書き方が様々あり、わからない状態にあります。

#シグモイドのみ
y1 = tf.sigmoid(tf.matmul(input, weights))
y2 = tf.sigmoid(tf.matmul(y1, weights1))
yhat = tf.sigmoid(tf.matmul(y2, weights2))

#変更後、中間層にReLUを適用
y1 = tf.nn.relu((tf.matmul(input, weights)))
y2 = tf.nn.relu(tf.matmul(y1, weights1)))
yhat = tf.sigmoid(tf.matmul(y2, weights2))

このようなコードでやろうとしているのですが、いくつかのサイトでこのようなコードをみました。

y1 = tf.nn.relu(tf.matmul(input, weights)+bias)

これはbiasを使っているときのみこのような引数を与えるのでしょうか？

私自身、ニューラルネットワークを学んでから数ヶ月の段階ですので、簡単な質問かもしれませんが、ご回答いただけるとありがたいです。

Answer 1

y_i = Sum_j(w_ij * x_j) + b_i

が本来の形です。

http://hooktail.org/computer/index.php?Perceptron

---

y1 = tf.sigmoid(tf.matmul(input, weights))

のときはb=0を強制しているだけです。

Comments

[yone_yone]

ご回答ありがとうございます。
やはりそういう意味だったんですね。

ちなみになのですが、このb=0は何かしらの値を与えていたほうが良いのでしょうか？
精度に影響はなかったりするのでしょうか？

[mkgrei]

バイアスがないことが正しい、ということでなければ、あった方がいいです。

ない場合というのは、前処理で取り除かれている、珍しいケースです。

級数での近似を考えた際に、0次、1次、2次…と次数を上げていくのが常套手段です。

ニューロンのモデルというのは、1次で打ち切った最もシンプルなものを、非線形な活性化関数を入れることによって、非線形性を表現できるようにしたものです。

なので、0次に当たるバイアス項は普通は必要なものになります。

[yone_yone]

なるほど。分かりやすい回答ありがとうございます。
本当に助かりました。