確率的勾配降下法:パラメータ更新量について

Question

###(問)
X,Y = (-1.0,1.0),(0, 0.5), (2.0, -0.5)というデータ点があり、
Y=aX+bと仮定し、そのパラメータa,bを求める。
最小化する目的関数を

とし、確率的勾配降下法で最小化すると1回目のパラメータ更新量はa,bそれぞれいくらか。
a,bの初期値：1.0,0.0
学習率β=0.1
1回目の訓練サンプルをx=-1.0

1.0.1, -0.1
2.0.1, -0.2
3.-0.2, 0.1
4.-0.2, 0.2
###(質問)
計算の結果4が答えだと思ったのですが、よろしければ正しい答えとその理由を教えて頂けないでしょうか。
###(行ったこと)
Lの勾配ベクトルをa,bそれぞれの偏微分から求めて初期値などを代入した結果(2,-2)T
となり、学習率をかけて算出-0.2,0.2

と考えました。

Answer 1

∇L = (2, -2)^T なので、更新量は -β ∇L = -0.1 (2, -2)^T = (-0.2, 0.2)^T となり、4であってます。

Comments

[komeko]

このような説明足らずの質問に回答して頂きありがとうございます。
また、他の質問にも答えていただきありがとうございます。
どちらの質問もどのような根拠を持ってその解答に至ったかの説明がされていなかったと反省しております。
以後気をつけます。