Tensorflowでレイヤーごとに学習率を変更する方法

Question

前提・実現したいこと

Tensorflowでレイヤーごとに学習率を変更したいです。
通常だと、学習率を設定したら全てのレイヤーに適応されると思いますが、これを各層ごとに設定する方法はありますでしょうか？
(提案論文で学習率を層ごとに設定しており、自分で記述する場合でも設定したいです。)

該当のソースコード

コードは必要そうな部分のみを抽出しています。

def ESPCN(mag):
    input_shape = Input((None, None, 1))

    conv2d_0 = Conv2D(filters = 64,
                        kernel_size = (5, 5),
                        padding = "same",
                        activation = "relu",
                        )(input_shape)
    conv2d_1 = Conv2D(filters = 32,
                        kernel_size = (3, 3),
                        padding = "same",
                        activation = "relu",
                        )(conv2d_0)
    conv2d_2 = Conv2D(filters = mag ** 2,
                        kernel_size = (3, 3),
                        padding = "same",
                        )(conv2d_1)

    model = Model(inputs = input_shape, outputs = [conv2d_2])

    model.summary()

    return model
model = model.ESPCN() 
opt = tf.keras.optimizers.Adam(learning_rate=0.0001)
model.compile(loss = "mean_squared_error",
                        optimizer = opt,
                        metrics = [psnr])
model.fit(train_x,
          train_y,
          epochs = 10000)

これで実行すると、全てのレイヤーに学習率0.0001が適応されますが、
conv2d_0, conv2d_1に学習率0.0001を、conv2d_2に学習率0.00001を適応させたいです。

補足情報（FW/ツールのバージョンなど）

tensorflow 2.0以降です。
よろしくお願いします。

Comments

[toast-uz]

> conv2d_0, conv2d_1に学習率0.0001を、conv2d_2に学習率0.00001を適応させたい

目的は何でしょうか？
層ごとに学習率を変えたい→層ごとのウエイト変更幅を変えたい→層ごとの学習において学習データの重みを（不均衡なので）修正したい→BN層とか入れれば解決？かと思いました。

[neko_dono]

学習率はあくまで例として設定しただけなので、実際には任意の値を与えれるようにしたいです。
学習率を変更する理由として、提案手法の論文で学習率を層ごとで別々の値を設定しているからです。(追記しておきます、ありがとうございます。)

[toast-uz]

その論文は、実装を何でやっているのでしょうか？

[neko_dono]

超解像という、画像の解像度を上げる実験をしています。
超解像の分野の論文をみますと、多くの論文が層ごとに学習率を分けて設定しており、質問させてもらいました。

[toast-uz]

すみません。分かりにくい言い方でした。
機械学習の論文は実際に動作を立証するコードを公開していることが多いので、その論文がどのようなフレームワークで実装されているか分かればヒントになると思いました。

[neko_dono]

なるほど...
論文ではmatlabやCaffeなどのTensorflow以外のものでしか実装されていなくてこちらで質問させていただいてます。

Answer 1

提案手法の論文で学習率を層ごとで別々の値を設定しているから

超解像の分野の論文をみますと、多くの論文が層ごとに学習率を分けて設定

勝手な想像ですが、超解像をするときにこちらのサイトにあるように、入り口側に近いところでは汎用的なエッジ検出のようなあまり変えたくない情報が、お尻側ではもっと汎用的に課題ごとに変わってほしい内容が収まるからと理解しました。

解決策としては、
使ったことはありませんがKeras LR Multiplierというのがあります。

私が自力で実装するなら、賢いやり方ではないかもしれませんが、都度対象となるレイヤー以外を.trainable = Falseにして学習でしょうか。こんなやり方は時間がかかってしょうがないですね！

追補

上記のpipyのものだと、kerasと統合前のTensorflow用の仕様ようで、最新のKerasと統合されたTensorflow2.x系だとダメかもしれません。

ですのでさらに調べたところ、最新のTensorflow2.xに対応しているものは、tfa.optimizers.MultiOptimizerだと分かりました。具体的な使い方は、Usageのあたりに、Adamの学習率をレイヤーごとに変えている例があります。

toast-uzさんのコメントにありますが、Torchの方がこういうかゆいところに手が届くのは早そうな気もします。

Comments

[toast-uz]

確かにMATLABだと、学習率係数、というのがあって、層ごとに学習率を変えられるようですね。
PyTorchだと公式の範囲でできるらしいですので、この機会にPyTorchを学んでみるのも良いかもです。
https://www.noconote.work/entry/2019/01/16/000000

[neko_dono]

Pytochもいつかは手を出してみるべきかもですね...
お二方本当にありがとうございました！！
tfa使って一度実装してみます！できなかった場合は大人しくPytochとか使わせていただきます...