tensorflow・kerasのsinpleRNNの活性化関数を変更する方法

###前提・実現したいこと
tensorflowのkerasというライブラリを用いて，SimpleRNNを構築しました．
しかし，このままでは勾配消失問題を解決出来ません．
LSTM，GRUで解決することも出来ますが，計算に時間がかかり過ぎます．
そこで，SimpleRNNの活性化関数をreluにすると，LSTM，GRUと同等の精度を得ることが出来るという技術報告を拝見しました．
これを試したいのですが，kerasによるSimpleRNNの活性化関数の変え方がわかりません．

###該当のソースコード

python
1model = Sequential()
2model.add(SimpleRNN(n_hidden,
3                    input_shape=(maxlen, n_in)))
4model.add(Dense(n_out))
5model.add(Activation('sigmoid'))
6

###試したこと
該当コードにかかれているActivationを変更しましたが，出力層の活性化関数が変更されただけでした．
出力層ではなく，再帰構造を持つ層の活性化関数をreluにしたいのです．

行動規範の内容に同意します

回答1件

ベストアンサー

https://keras.io/ja/layers/recurrent/

SimpleRNN

keras.layers.recurrent.SimpleRNN(units, activation='tanh', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, recurrent_constraint=None, bias_constraint=None, dropout=0.0, recurrent_dropout=0.0)
出力が入力にフィードバックされる全結合RNN．

引数

units: 正の整数値，出力の次元数．
activation: 活性化関数（activationsを参照）．Noneを渡すと活性化関数は適用されません (例．"linear" activation: a(x) = x)．

とあるので

activation='relu'

などをSimpleRNNに渡せばよいように思いますが、それではうまくいきませんでしたか？

投稿2018/01/17 11:13