keras（活性化関数の最適な選択）

Question

kerasの活性化関数はどのように使い分けますか？

「relu」「linear(恒等関数)」「elu」「selu」「relu」「softmax」「softplus」「spftsign」「tanh」「sigmoid」「hard_sigmoid」

質問1. 回帰問題の出力層の活性化関数は「linear」のみ使用可能だという認識ですが、他にありますか？
質問2. 分類問題の出力層で使用可能な活性化関数は上記のうちどれですか？
質問3. 中間層の活性化関数では、「linear」以外使用可能という認識ですが、間違いないでしょうか？それとも、回帰と分類で使用可能なものが異なりますか？

以上よろしくお願いいたします。

Answer 1

質問1. 回帰問題の出力層の活性化関数は「linear」のみ使用可能だという認識ですが、他にありますか？

linear にしておくと、ネットワークのパラメータ次第でどんな値も出力できるわけですが、
近似したい関数の値域が例えば、[-1, 1] とわかっている場合は tanh を使うなど、値域が同じ linear 以外の活性化関数を使うことはできます。

質問2. 分類問題の出力層で使用可能な活性化関数は上記のうちどれですか？

クラス分類なら softmax が一般的に使われます。
2クラスなら sigmoid 関数でもよいです。
これも質問1と同じ考え方で、例えば、2クラス分類なら出力したい確率値は [0, 1] なので、値域が同じ sigmoid 関数を使用できます。

質問3. 中間層の活性化関数では、「linear」以外使用可能という認識ですが、間違いないでしょうか？それとも、回帰と分類で使用可能なものが異なりますか？

全部の活性化関数を linear にしてしまうとモデルが線形関数になって、線形分離可能な問題しか解けなくなってしまうので、一般的には ReLU など非線形関数を使いますが、linear を中間層で使ったらダメということはありませんよ。