投稿2022/07/15 19:02
現在，pythonを用いて機械学習を行っています.
コンパイルの最適化関数はAdam()を使用しています.
Adam()の中に設定する学習率(learning_rate)にどの値を設定したらよいのかが分かりません.
最適な学習率を探すために，手作業で値を変えては実行という作業を繰り返していてとても効率が悪いです(learning_rate=0.01, 0.005, 0.001などを試しました).
最適な(モデルが一番いい精度を出す)学習率を自動的に見つける方法やライブラリ，Webページなどがあれば教えていただきたいです.
よろしくお願いします.
ubuntu 20.04
Python 3.8.10
tensorflow-gpu 2.5.3
keras 2.8.0
numpy 1.19.5
jupyter lab 2.3.2
回答2件
0
最適な(モデルが一番いい精度を出す)学習率を自動的に見つける方法やライブラリ，Webページなど
keras tuner 学習率
keras optuna 学習率
あたりでググってみてください
ただし、最適値を探索するのが学習率だけの場合は、
手作業で値を変えては実行という作業を繰り返して
を自動的にやらせるだけになるので、時間短縮にはならないかも
(探索が終わるまで放置できるので、楽ではありますけど)
複数のハイパーパラメータの組み合わせの最適値を探索する場合は、手作業よりも効率的にできます
投稿2022/07/16 03:52
総合スコア7653
0
ベストアンサー
最適な学習率を求めるということは難しいと思います。
そのため、一般的に初めの学習率は大きくし、徐々に学習率を小さくしていくアプローチが取られることが多いです。
kerasの場合ですと、LearningRateSchedulerを使いエポックごとに徐々に学習率を小さくするのが一番簡単かなと思います。
https://keras.io/api/callbacks/learning_rate_scheduler/
応用的な方法ですと学習率を上げたり、下げたりを一定の期間ごとに繰り返すという手法もあります
https://www.tensorflow.org/addons/tutorials/optimizers_cyclicallearningrate
日本語で解説されている所ですと以下が見つかりました。色々書かれていますが最後の任意の学習率減衰（SGD）という項の４～１０行目を見ればよいでしょう。
https://blog.shikoan.com/keras-learning-rate-decay/
pytorchになってしまいますが、これらの手法のまとめとしては以下が参考になるかと思います。
https://katsura-jp.hatenablog.com/entry/2019/07/24/143104
投稿2022/07/16 00:11
総合スコア407
あなたの回答
tips
プレビュー
Q&A
