自作の活性化関数を作成し、利用したい

Question

自作の活性化関数を作成したい
参考記事を参考にし
defで関数を作り、
Activation()で活性化関数として扱いたかったのですが
xの位置がおかしいとなってます。
Activationを使う場合入力に使うxは外に出して、(x)とすると考えていたのですが
何故かエラーに・・・

#活性化関数作成
 def palametric_softpluse(x, alpha):
    return tf.math.log(alpha + tf.math.exp(alpha*x))

#モデル作成
def define_model():
 

    inputs = Input(shape=(32, 32, 3))
    x = Conv2D(64, (3, 3), padding='SAME')(inputs)
    x = Activation(palametric_softpluse(alpha=10))(x)
    x = Conv2D(64, (3, 3), padding='SAME')(x)
    x = Activation(palametric_softpluse(alpha=10))(x)
    x = Dropout(0.25)(x)
    x = MaxPooling2D()(x)

    x = Conv2D(128, (3,3), padding='SAME')(x)
    x = Activation(palametric_softpluse(alpha=10))(x)
    x = Conv2D(128, (3,3), padding='SAME')(x)
    x = Activation(palametric_softpluse(alpha=10))(x)
    x = Dropout(0.25)(x)
    x = MaxPooling2D()(x)

    x = Conv2D(256, (3,3), padding='SAME')(x)
    x = palametric_softpluse(alpha=10)(x)
    x = Conv2D(256, (3,3), padding='SAME')(x)
    x = Activation(palametric_softpluse(alpha=10))(x)
    x = GlobalAveragePooling2D()(x)
    x = Dense(1024)(x)
    x = Activation(palametric_softpluse(alpha=10))(x)
    x = Dropout(0.25)(x)
    y = Dense(10, activation='softmax')(x)

    model = Model(inputs, y)

    # モデルのコンパイル。
    model.compile(optimizer=tf.keras.optimizers.Adam(),
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])
    model.summary()
    return model

model = define_model()

---

エラー文

palametric_softpluse() missing 1 required positional argument: 'x'

参考記事
https://teratail.com/questions/272051

---

仮の解決方法
作成した活性化関数の引数alphaにデフォルト値(alpha=10)を与えましたが、理想は層毎に引数を与えたいです。

#活性化関数作成
 def palametric_softpluse(x, alpha= 10):
    return tf.math.log(alpha + tf.math.exp(alpha*x))

#モデル作成
def define_model():
  inputs = Input(shape=(32, 32, 3))
  x = Conv2D(64, (3, 3), padding='SAME')(inputs)
  x = Activation(palametric_softpluse)(x)
  x = Conv2D(64, (3, 3), padding='SAME')(x)
  x = Activation(palametric_softpluse)(x)
  x = Dropout(0.25)(x)
  x = MaxPooling2D()(x)
  
  
  x = Conv2D(128, (3,3), padding='SAME')(x)
  x = Activation(palametric_softpluse)(x)
  x = Conv2D(128, (3,3), padding='SAME')(x)
  x = Activation(palametric_softpluse)(x)
  x = Dropout(0.25)(x)
  x = MaxPooling2D()(x)
  
  x = Conv2D(256, (3,3), padding='SAME')(x)
  x = palametric_softpluse(x)
  x = Conv2D(256, (3,3), padding='SAME')(x)
  x = Activation(palametric_softpluse)(x)
  x = GlobalAveragePooling2D()(x)
  x = Dense(1024)(x)
  x = Activation(palametric_softpluse)(x)
  x = Dropout(0.25)(x)
  y = Dense(10, activation='softmax')(x)

  model = Model(inputs, y)

    # モデルのコンパイル。
  model.compile(optimizer=tf.keras.optimizers.Adam(),
               loss='categorical_crossentropy',
               metrics=['accuracy'])
  model.summary()
  return model

model = define_model()

Answer 1

Keras やったこと無いので霊感での回答になるのですが、Activation クラスは引数に 1 引数の関数を取るようです。それを意図して palametric_softpluse(alpha=10) とやったと思うのですが、これは関数の部分適用と言い、Python そのものの機能では不可能です。Python では関数の呼び出しを書いた時点で評価が始まり、引数が足りないとエラーになるんですね（なので x がないよと怒られる）。これを回避するには二つ方法があります。

一つ目は make_palametric_softpluse(alpha) という関数を作り、関数を返すようにするのです。こんな感じに。

def make_palametric_softpluse(alpha=10):
    return lambda x: tf.math.log(alpha + tf.math.exp(alpha*x))

こうすると alpha の値に特殊化された関数を色々作ることが出来ます。

もう一つは functools.partial を使う方法です。
functools --- 高階関数と呼び出し可能オブジェクトの操作 — Python 3.9.1 ドキュメント
やってることはだいたい一つ目といっしょなんでお好みでといった感じです。