Pytorchの様々な最適化手法の具体的な理解（数学がらみ）

引用サイト：https://rightcode.co.jp/blog/information-technology/torch-optim-optimizer-compare-and-verify-update-process-and-performance-of-optimization-methods

【前編】Pytorchの様々な最適化手法(torch.optim.Optimizer)の更新過程や性能を比較検証してみた！

に、

例えばSGDであれば、W←W-η∂l/∂wとあるんですが・・・これってつまりはどういう意味なんでしょうか。
グラフは、y=x^2であれば、x←x-η∂x^2/∂xつまりx←x-2x=-xとなり、xが代わりに-xになる、
微小量x進んだら微小量-x戻る、例えば1進んだら1戻るってことなんでしょうか？この場合だと、永久に進みませんよね・・・？
詳しい人説明お願いします、あと偏微分の∂もよくわかっていません（高校の微分ではないんですよね）。

行動規範の内容に同意します

回答2件

ベストアンサー

グラフは、y=x^2であれば、x←x-η∂x^2/∂xつまりx←x-2x=-xとなり、xが代わりに-xになる、

なりません。

微小量x進んだら微小量-x戻る、例えば1進んだら1戻るってことなんでしょうか？この場合だと、永久に進みませんよね・・・？

例えば y = x^2 で η = 0.01 として、 x = 1 のとき x ← 1 - 0.01 * 2 * 1 となり x は 0.98 となります。次の更新は x ← 0.98 - 0.01 * 2 * 0.98 となり、x は 0.9604 となります。これを繰り返していくと限りなく0に近い値になります。（10万回繰り返すと1.2e-322になります。）

η の値を様々に変えて計算してみると勾配降下法への理解が深まるかと思います。Pythonで計算すれば簡単に計算できるので実際にやってみてください。