勾配降下アルゴリズムに関する質問

Question

質問

機械学習初学者です．
勾配降下アルゴリズムの説明にて，縦軸E(損失関数)横軸w(重み)のグラフをよく見かけます．
この曲線の形はどのようにして決まるのでしょうか？
いまの私は「曲線の形は入力値と他の重みによって決まる」と認識しています．
ですので，一度ネットワーク上の全ての重みの更新をすると曲線の形は変わると思っています．

ですが，以下の画像でされているような説明を見ると，重みを更新しても損失関数の曲線は変化していないように見えます．
これは私の認識が間違っているのか，画像では説明のわかり易さのためにあえて曲線を変化させていない（他のニューロンの重みの更新は考えていない？）のか，どちらでしょうか？

（画像の引用：https://science-log.com/数学/【最適化問題の基礎】最急降下法とは何か/）

補足

「学習データをすべて使う最急降下法では局所解に陥る恐れがあり，ランダムに選択した学習データを使うSGDやミニバッチSGDではそれに対応することが出来る」という点から，「入力値によって曲線が変わる」というのはほぼ正解だと思っています．
グラフ横軸の重みとは別のニューロンの重みの更新によって損失関数の曲線の形が変わるのかが知りたいです．
細かい部分の質問ではありますが，回答いただけると幸いです．

Comments

[meg_]

> （画像の引用：https://science-log.com/数学/【最適化問題の基礎】最急降下法とは何か/）
リンク切れしているようです。

[ps_aux_grep]

この曲線は，全ての重みパターンを網羅して繋げてみたという理想状態をもとに描いています．
重みwを更新する，ということは，横軸に示す重みwが少しズレるということになります．

[meg_]

> 「入力値によって曲線が変わる」というのはほぼ正解だと思っています．
"入力値"とは重みのことでしょうか？"曲線が変わる"というのは損失関数そのものが変わっていく、ということでしょうか？
重みが変化することで変わるのは損失関数の出力であり、損失関数は変わらないのでグラフの形は変わらないです。

> （他のニューロンの重みの更新は考えていない？）
偏微分のことを指しているのであれば、そうだと思います。「他のニューロンの重み」を考えた場合でも変わるのは進む方向ですね。（3次元を斜めに進むイメージでしょうか。https://ex-ture.com/blog/2021/01/02/googlecolab-pytorch/）

Answer 1

重みwはベクトルで、大抵の場合多数の要素を含みますので、損失関数E(w)は図示できません。
図示できないと当然図で説明できないので、図で説明するためにwが1要素しかない場合を描いているだけです。

Comments

[Eir_03]

色々考えていましたが，重みをベクトルだと考えたらスッキリしました．
ありがとうございます．