質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.92%

Keras LSTMブロックに自前の活性化関数を指定したい

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 1,322

前提・実現したいこと

Keras で LSTM を使って時系列データを処理する勉強をしています。
将来的にはハードウェアで実装したいと考えているので、
LSTM ブロック内の活性化関数を単純なものに置き換えたいと思っています。
sigmoid については hard_sigmoid 関数が準備されていますが、
tanh には同様の近似関数がありません。
それで近似関数で活性化関数を作ろうとしていますが、うまく行っていません。
独自の活性化関数の実装方法についてご教授いただけないでしょうか。

エラーメッセージ


ValueErrorTraceback (most recent call last)
<ipython-input-24-6c5c73cd7cdd> in <module>

8 model = Sequential()
----> 9 model.add(LSTM(n_hidden, batch_input_shape=(None, length_of_sequence, in_out_neurons), return_sequences=False, recurrent_activation='hard_sigmoid', activation='Hard_Tanh'))
10 model.add(Dense(in_out_neurons))
11 model.add(Activation("linear"))

~/.pyenv/versions/anaconda3-5.3.1/envs/lstm/lib/python3.7/site-packages/keras/legacy/interfaces.py in wrapper(*args, kwargs) 89                 warnings.warn('Update your ' + object_name + ' call to the ' + 90                               'Keras 2 API: ' + signature, stacklevel=2) ---> 91             return func(*args, kwargs)
92         wrapper._original_function = func
93         return wrapper

~/.pyenv/versions/anaconda3-5.3.1/envs/lstm/lib/python3.7/site-packages/keras/layers/recurrent.py in init(self, units, activation, recurrent_activation, use_bias, kernel_initializer, recurrent_initializer, bias_initializer, unit_forget_bias, kernel_regularizer, recurrent_regularizer, bias_regularizer, activity_regularizer, kernel_constraint, recurrent_constraint, bias_constraint, dropout, recurrent_dropout, implementation, return_sequences, return_state, go_backwards, stateful, unroll, **kwargs)
2229                         dropout=dropout,
2230                         recurrent_dropout=recurrent_dropout,
-> 2231                         implementation=implementation)
2232         super(LSTM, self).init(cell,
2233                                    return_sequences=return_sequences,

~/.pyenv/versions/anaconda3-5.3.1/envs/lstm/lib/python3.7/site-packages/keras/layers/recurrent.py in init(self, units, activation, recurrent_activation, use_bias, kernel_initializer, recurrent_initializer, bias_initializer, unit_forget_bias, kernel_regularizer, recurrent_regularizer, bias_regularizer, kernel_constraint, recurrent_constraint, bias_constraint, dropout, recurrent_dropout, implementation, kwargs) 1877         super(LSTMCell, self).init(kwargs)
1878         self.units = units
-> 1879         self.activation = activations.get(activation)
1880         self.recurrent_activation = activations.get(recurrent_activation)
1881         self.use_bias = use_bias

~/.pyenv/versions/anaconda3-5.3.1/envs/lstm/lib/python3.7/site-packages/keras/activations.py in get(identifier)
225     if isinstance(identifier, six.string_types):
226         identifier = str(identifier)
--> 227         return deserialize(identifier)
228     elif callable(identifier):
229         if isinstance(identifier, Layer):

~/.pyenv/versions/anaconda3-5.3.1/envs/lstm/lib/python3.7/site-packages/keras/activations.py in deserialize(name, custom_objects)
206         module_objects=globals(),
207         custom_objects=custom_objects,
--> 208         printable_module_name='activation function')
209 
210 

~/.pyenv/versions/anaconda3-5.3.1/envs/lstm/lib/python3.7/site-packages/keras/utils/generic_utils.py in deserialize_keras_object(identifier, module_objects, custom_objects, printable_module_name)
165             if fn is None:
166                 raise ValueError('Unknown ' + printable_module_name +
--> 167                                  ':' + function_name)
168         return fn
169     else:

ValueError: Unknown activation function:Hard_Tanh

該当のソースコード

class Hard_Tanh(Layer):
def init(self, kwargs): super(Hard_Tanh, self).init(kwargs)
self.supports_masking = True

def call(self, inputs):
return 2.0 * K.sigmoid(2.0*inputs)-1

def get_config(self):
config = {}
base_config = super(Hard_Tanh, self).get_config()
return dict(list(base_config.items()) + list(config.items()))

model = Sequential()
model.add(LSTM(n_hidden, batch_input_shape=(None, length_of_sequence, in_out_neurons), return_sequences=False, recurrent_activation='hard_sigmoid', activation='Hard_Tanh'))
model.add(Dense(in_out_neurons))
model.add(Activation("linear"))
optimizer = Adam(lr=0.001)
model.compile(loss="mean_squared_error", optimizer=optimizer)

試したこと

もっと単純に、

import keras.backend as K
def Hard_Tanh(x):
return 2.0 * K.hard_sigmoid(2.0 * x) - 1.0

としてみましたが、同じエラーでした。

補足情報(FW/ツールのバージョンなど)

OS: Ubuntu 18.04
python: 3.7(Anaconda3.5.1)
Keras: 2.3.1
Tensorflow: 2.0.0

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

自己解決しました。
Kerasのソースコード(activations.py)を参照したところ、ドキュメントでは引数に文字列を入れていますが、callable な値を入れることができるようです。
なので自前に作った関数を指定すれば目的の動作をしました。
具体的には以下のようにしました。

import keras.backend as K
def Hard_Tanh(x):
   return 2.0 * K.hard_sigmoid(2.0 * x) - 1.0

model.add(LSTM(n_hidden, batch_input_shape=(None, length_of_sequence, in_out_neurons), return_sequences=False, recurrent_activation='hard_sigmoid', activation=Hard_Tanh))

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.92%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る