al勾配降下法のプログラムについて Python

Question

質問

勾配降下法のプログラムについて質問です。

①このプログラムを動作したら処理結果が
1.0
1.0
と出力されたのですがこの数値は正しい最小値という認識でいいのでしょうか。

②また学習率αは増加するにつれて収束は早くなりますか？

③極小値が複数存在する関数を求める場合パラメータを複数変更して複数回処理を行うか、
パラメータを変更しなくても複数個の極小値を同時に求めることはできますか？

どなたかご回答お願いいたします。

該当のソースコード

from matplotlib import pyplot

x=1.0
alpha=1.0
eps=0.001
y=x**2
y_dash=2*x
#データをとっておく用の配列
array_x=[]
array_y=[]

while y_dash>eps:
    y=x**2
    y_dash=2*x
    
    array_x.append(x)
    array_y.append(y)
    
    x=x-alpha*y_dash
    
print(len(array_x))
pyplot.scatter(array_x,array_y)
pyplot.show()
print(x)
print(y)

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[ozwk]

> ①このプログラムを動作したら処理結果が
1.0
1.0
と出力されたのですが

こちらで試しましたがそうはなりませんでした。
もう一度ご確認ください

[pomiw0000]

すみません失礼いたしました。
学習率αがalpha=1.0
でした。
申し訳ございません。

[jbpb0]

> 1.0
1.0
と出力されたのですがこの数値は正しい最小値

y=x**2
の最小値はx=0の時のy=0

Answer 1

①このプログラムを動作したら処理結果が1.0 この数値は正しい最小値という認識でいいのでしょうか。

jeanbiegoさんの図でわかるように0なので間違っています。

②また学習率αは増加するにつれて収束は早くなりますか？

いいえ。学習率の設定は化学や技術の話ではなくARTの世界です。

③極小値が複数存在する関数を求める場合パラメータを複数変更して複数回処理を行うか、
パラメータを変更しなくても複数個の極小値を同時に求めることはできますか？

できません。勾配法の一般論として、初期値から出発して近くの極値を一個求めるだけです。
複数の極小値を求めたいという場合はほとんどなく、最小値を求めたいが極小値で止まってしまうのをどう回避するかということが問題になる場合が多いです。

Answer 2

alphaが大きすぎて反復横跳びみたいになってるのと、while abs(y_dash)>eps:のようにy'は絶対値とらないと負になったらダメなのではないでしょうか。
そこを変えてみたら、それっぽくなりましたが。（勾配降下法について詳しいわけではないので、ご参考まで）

from matplotlib import pyplot

x=1.0
alpha=0.1
eps=0.001
y=x**2
y_dash=2*x
#データをとっておく用の配列
array_x=[]
array_y=[]

while abs(y_dash)>eps:
    y=x**2
    y_dash=2*x

    array_x.append(x)
    array_y.append(y)

    x=x-alpha*y_dash

print(len(array_x))
pyplot.scatter(array_x,array_y)
pyplot.show()
print(x)
print(y)