損失関数の値の大きさは、勾配計算に影響を与えますか？

Question

オプティマイザーにはSGDやAdamなどがありますが、これらは損失関数の大きさで重みの更新量が変わったりするのでしょうか？
具体的には、オプティマイザーに与えるlossを10倍にしても、larning_rateなどのパラメータが同じであればlossをそのまま与えた計算と同じになるのでしょうか？それともlossを10倍した方が大きく勾配計算を行うのでしょうか？

Answer 1

基本的には、コスト関数の大きさよりもその地点における勾配の大きさ（つまり微分値）が影響します。「基本的」という言い方をしたのは、使用するオプティマイザによって挙動が異なるためです。初期に考案されたもの（SDG）は学習率が固定なので微分値が異なれば重みの更新量は比例的に異なります。しかしながら、その後に考案されたもののなかには、勾配が小さいということは最小値が近くにあるという仮定のもと、学習率そのものが調整されるものがあります。つまり勾配の大きさだけでは更新量が決定しないということになります。