確率勾配降下法について

Question

確率勾配降下法についてどれだけ調べてもこれといったイメージが掴めないです。
どなたかわかりやすく教えていただけませんか？

Comments

[tiitoi]

普通の勾配降下法は理解していますか？

[Logarithm]

データすべてを用いた誤差関数を最も勾配が大きい方へ偏微分を用いて辿っていき、最小値を求めだす
という解釈をしています。

[tiitoi]

だとしたら、確率的勾配降下法は「データすべてを用いた誤差関数」が「データの一部を用いた誤差関数」に置き換わったバージョンです。

Answer 1

データすべてを用いた誤差関数を最も勾配が大きい方へ偏微分を用いて辿っていき、最小値を求めだすという解釈をしています。

確率的勾配降下法: ランダムに選んだデータ1つを用いた誤差関数の勾配を用いてパラメータを更新
ミニバッチ勾配降下法: ランダムに選んだデータの一部を用いた誤差関数の勾配を用いてパラメータを更新
バッチ勾配降下法 (通常の勾配降下法): データすべてを用いた誤差関数の勾配を用いてパラメータを更新

Deep Learning の文脈では、上記3つをまとめて確率的勾配降下法という場合が多いです。

Comments

[ppaul]

上記3つをまとめたものは勾配降下法と呼ぶのではありませんか？

[tiitoi]

正しくはそう呼ぶべきだと思うのですが、ディープラーニング界隈では、ミニバッチの個数 (バッチサイズ) によって上記3つの呼び方を区別することなく、確率的勾配降下法 (SGD) と呼んでいると思います。