回答編集履歴
2
書面上の修正
answer
CHANGED
|
@@ -14,4 +14,6 @@
|
|
|
14
14
|
---
|
|
15
15
|
上記のpipyのものだと、kerasと**統合前のTensorflow用**の仕様ようで、最新のKerasと統合されたTensorflow2.x系だとダメかもしれません。
|
|
16
16
|
|
|
17
|
-
ですのでさらに調べたところ、最新のTensorflow2.xに対応しているものは、[tfa.optimizers.MultiOptimizer](https://www.tensorflow.org/addons/api_docs/python/tfa/optimizers/MultiOptimizer)だと分かりました。具体的な使い方は、[Usage](https://www.tensorflow.org/addons/api_docs/python/tfa/optimizers/MultiOptimizer#usage)のあたりに、Adamの学習率をレイヤーごとに変えている例があります。
|
|
17
|
+
ですのでさらに調べたところ、**最新のTensorflow2.xに対応**しているものは、[tfa.optimizers.MultiOptimizer](https://www.tensorflow.org/addons/api_docs/python/tfa/optimizers/MultiOptimizer)だと分かりました。具体的な使い方は、[Usage](https://www.tensorflow.org/addons/api_docs/python/tfa/optimizers/MultiOptimizer#usage)のあたりに、Adamの学習率をレイヤーごとに変えている例があります。
|
|
18
|
+
|
|
19
|
+
toast-uzさんのコメントにありますが、Torchの方がこういうかゆいところに手が届くのは早そうな気もします。
|
1
TFv2.x対応
answer
CHANGED
|
@@ -7,4 +7,11 @@
|
|
|
7
7
|
解決策としては、
|
|
8
8
|
使ったことはありませんが[Keras LR Multiplier](https://pypi.org/project/keras-lr-multiplier/)というのがあります。
|
|
9
9
|
|
|
10
|
-
|
|
10
|
+
|
|
11
|
+
私が自力で実装するなら、賢いやり方ではないかもしれませんが、都度対象となるレイヤー以外を`.trainable = False`にして学習でしょうか。こんなやり方は時間がかかってしょうがないですね！
|
|
12
|
+
|
|
13
|
+
追補
|
|
14
|
+
---
|
|
15
|
+
上記のpipyのものだと、kerasと**統合前のTensorflow用**の仕様ようで、最新のKerasと統合されたTensorflow2.x系だとダメかもしれません。
|
|
16
|
+
|
|
17
|
+
ですのでさらに調べたところ、最新のTensorflow2.xに対応しているものは、[tfa.optimizers.MultiOptimizer](https://www.tensorflow.org/addons/api_docs/python/tfa/optimizers/MultiOptimizer)だと分かりました。具体的な使い方は、[Usage](https://www.tensorflow.org/addons/api_docs/python/tfa/optimizers/MultiOptimizer#usage)のあたりに、Adamの学習率をレイヤーごとに変えている例があります。
|