kerasでＳＩＲＥＮという活性化関数を自作したい

Question

前提・実現したいこと

kerasでＳＩＲＥＮという活性化関数を自作したいです．
先日スタンフォード大学よりImplicitNeuralRepresentationswithPeriodic ActivationFunctionsという論文が発表されました．
この中で触れられているSIRENという活性化関数を使用したいです．
現在使用しているのは，python3.6でkeras,tensorflowです．
relu関数のところをSIRENに変えたいです．
kerasのモジュールには導入されていないようですので，どこにコードの変更を加えればいいのか，もしくは自作する方法を教えてください．
ちなみに今はこのようなモデルを構築しています．

        
input_img = Input(shape=(240, 320, 3))
x_1 = Conv2D(16, (3, 3), padding='same')(input_img)
x_1 = BatchNormalization()(x_1)
x_1 = Activation('relu')(x_1)
x_1 = MaxPooling2D((2, 2), padding='same')(x_1)
 

Answer 1

tensorflow 2.xであることを前提に書きます。普通に関数を作って呼び出すだけです。注意すべき点があるとすれば、数学関数はtensorflow.mathの関数を使うことでしょうか。

def my_sigmoid(x):
    return 1.0 / (1.0 + tf.math.exp(-x))

以下、試験結果です。

input_img = Input(shape=(240, 320, 3))
x_1 = Conv2D(16, (3, 3), padding='same')(input_img)
x_1 = BatchNormalization()(x_1)
x_1 = Activation(my_sigmoid)(x_1)  # my_sigmoidに入れ替えた
x_1 = MaxPooling2D((2, 2), padding='same')(x_1)
model = Model(inputs=input_img, outputs=x_1)
model.summary()

実行結果は下記の通り。

Model: "model"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         [(None, 240, 320, 3)]     0         
_________________________________________________________________
conv2d (Conv2D)              (None, 240, 320, 16)      448       
_________________________________________________________________
batch_normalization (BatchNo (None, 240, 320, 16)      64        
_________________________________________________________________
activation (Activation)      (None, 240, 320, 16)      0         
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 120, 160, 16)      0         
=================================================================
Total params: 512
Trainable params: 480
Non-trainable params: 32

Comments

[siroto]

出来ました
ありがとうございます．
ちなみにkeras内にあるactivations.pyというところに書き込んでもできそうでしたが，こちらのほうが簡単にできました．

[kane_study]

申し訳ございません。
質問させて頂いても宜しいでしょうか?