cycleGANの学習率を減らすためのエポックはどのくらいにすればよいのでしょうか。

Question

現在cycleGANを動かしているのですが、デフォルトのパラメータだと学習率が0.0002のままで動かすエポック数が100、学習率を減衰させるエポック数が100で総数エポックが200になっています。
私は総数エポックを100でやりたいと思っているのですが、その場合、学習率を減衰させるエポック数は総数の半分の50にすればいいのでしょうか。機械学習に詳しくないため、学習率を減らすためのエポックをどのくらいにすればよいのか分かりません。総エポック数の半分を割り当てればいいのでしょうか。分かる方がいましたら教えて頂けるとありがたいです。

Answer 1

ハイパーパラメータ関係（lr, eopch, batchなど）は経験則によるところが大きいので、これといった指標はありません。

学習率を下げる目安としては loss の変動が落ち着いたころに差し込むのが基本です。
そのため、一度学習を回してみて大体何エポックでlossの変動が落ち着くかを確認したのちに、その付近で学習率を下げる処理を入れるとよいかと思います。

また、スケジューラを導入できるのであれば ReduceLROnPlateau を入れてみるといいかもしれません。
フレームワークによって引数や処理内容などが若干違うかもしれませんが目標(lossあるいはaccuracy)の変動が止まったら学習率を1段下げてくれるスケジューラになっています。

Comments

[naruto1010]

大変助かりました。ありがとうございました！