回帰問題の深層学習において、出力層の活性化関数にReLUを使うことについて

Question

私は、0以上の値を出力する深層学習モデルを作りたいと考えています。
回帰問題では出力層の活性化関数に線形関数を使用することが一般的だと思いますが、負の値も出力してしまいます。
0以上の値を出力したい場合は、出力層の活性化関数にReLUを使用してもよろしいのでしょうか？

Answer 1

使ったらいいと思うのですが
「ReLUを使用してもよろしいのでしょうか？」のご質問の趣旨がわかりません。

線形関数を用いるのは中間層の結果をそのまま線形で出すためよく使われるだけであって
二値ならSigmoid、多値ならSoftmax等それぞれ目的に応じて使われるので、
ReLUがダメとかないと思います。

c.f. 【簡単】活性化関数の３つの目的！中間層と出力層で役割・違いを発見♪

逆に、ReLUを使えば負の値は出ませんが、中間層でマイナスの値を出してしまうような学習をすれば
出てくる値がほぼゼロになり、まともな予測はできません。
極論すれば線形関数を用いて出力値がマイナスになってもそれは０とみなすとしてしまえば良いわけで
ReLUにすれば全てが解決するわけではありません。

ので、ReLUを試すなど色々試行錯誤が必要かなと思います。

Comments

[insecticide]

非常に有益で見識のあるコメントありがとうございます。

問題を提起される方ではありませんが、感謝の気持ちは非常にあります。