CNNの活性化関数の選び方と、各パラメータの設定について

Question

今勉強しているソースコードで、以下の様な関数があるのですが、

def make_model(nh):
    z = L.Input((nh,), name="Patient")
    x = L.Dense(100, activation="relu", name="d1")(z)
    x = L.Dense(100, activation="relu", name="d2")(x)
    #x = L.Dense(100, activation="relu", name="d3")(x)
    p1 = L.Dense(3, activation="linear", name="p1")(x)
    p2 = L.Dense(3, activation="relu", name="p2")(x)
    preds = L.Lambda(lambda x: x[0] + tf.cumsum(x[1], axis=1), 
                     name="preds")([p1, p2])
    model = M.Model(z, preds, name="CNN")
    #model.compile(loss=qloss, optimizer="adam", metrics=[score])
    model.compile(loss=mloss(0.8), optimizer=tf.keras.optimizers.Adam(lr=0.1, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.01, amsgrad=False), metrics=[score])
    return model

おそらくこのような関数はよく作成されると思うのですが、
各層の活性化関数はどのような理由付けの元で設定されるのでしょうか。
また、各Denseのノード数や後半のoptimizerのパラメータについても何か理論的な理由の元でこのように値を決めると良いなどありますか？

Answer 1

また、各Denseのノード数や後半のoptimizerのパラメータについても何か理論的な理由の元でこのように値を決めると良いなどありますか？

ReLU が使われることが多いですが、ReLU でないといけない理論的な背景があるわけではありません。
活性化関数に限らず、学習率や層の数などモデルを構成するあらゆるパラメータに関して、学習がうまくいくものを実験して適当に決めてるだけです。
例えば、論文に載ってるモデル構成などもいろいろ試してたまたまうまくいったものを載せてるだけになります。
ディープラーニングは SVM などの他の機械学習モデルのように、なぜ上手くいくのかということについて数学的な理論付けが乏しいです。(複雑すぎて、理論的に解析するのが困難)

Comments

[seiyouakadanuki]

回答ありがとうございました。deep learningがブラックボックスだとは聞いていたのですが、その一端を垣間見た気分です。