オプティマイザーにはSGDやAdamなどがありますが、これらは損失関数の大きさで重みの更新量が変わったりするのでしょうか?
具体的には、オプティマイザーに与えるlossを10倍にしても、larning_rateなどのパラメータが同じであればlossをそのまま与えた計算と同じになるのでしょうか?それともlossを10倍した方が大きく勾配計算を行うのでしょうか?
回答1件
あなたの回答
tips
プレビュー
投稿2019/03/15 01:16
オプティマイザーにはSGDやAdamなどがありますが、これらは損失関数の大きさで重みの更新量が変わったりするのでしょうか?
具体的には、オプティマイザーに与えるlossを10倍にしても、larning_rateなどのパラメータが同じであればlossをそのまま与えた計算と同じになるのでしょうか?それともlossを10倍した方が大きく勾配計算を行うのでしょうか?
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。