『オンライン学習』と『確率的勾配法』とは何が違うの？

Question

実はずーーと、分かっていない事があります：
『オンライン学習』と『確率的勾配法』とは何が違うの？

もし同じであれば、どうして『確率的勾配法』が新しい方法みたいに扱われているのでしょうか。

【回答】(from tachikomaさま)

『オンライン学習』と『確率的勾配法』とはまったく異なる範疇の概念で、

１．『オンライン学習・訓練』は 学習データを徐々(逐次的)に(sequentially)取得して、一度学習した後追加学習を行う；その他の学習法では予めサンプルが揃っている。

２．『オンライン学習・訓練』にも複数の最適化方法を選択可能：
Eg,　学習データを暫く溜めといて、『確率的勾配法』以外の任意の学習法(eg., mini-batch)を選べる。

３．『オンライン学習・訓練』はNNに限らず、例えば、ベイジアンモデルのオンライン学習も存在する。

Answer 1

確率勾配法は勾配降下法の一種で、サンプルが全て手元にあることを前提とします。勾配降下法は全サンプルの計算結果を使って、モデルのパラメータを一度だけ更新するため学習が非常に時間がかかります。確率的勾配法は1個のサンプルを使って一回パラメータを更新します。一回の更新精度は低くなりますが、学習速度を格段に速くすることができます。この間をとったのがミニバッチ勾配降下法。

下記の記事が参考になると思います。
勾配降下法の最適化アルゴリズムを概観する

オンライン学習と言った場合、学習中にも追加のデータが入ってくることを想定します。例えば、メールのスパム分類を行いながら、新しくスパムとして分類されたメールを使ってモデルを更新していきます。このとき、一度モデルの更新に使ったデータはそのまま捨てることがある点でバッチ学習と異なります。

ブログからの借用ですが、次のようにも言えるかと思います。

「データの到着が逐次的(sequential)であること」が解析に含まれているような機械学習手法を、オンライン学習と呼ぶようです。

一部抜粋引用：https://www.altus5.co.jp/blog/machine-learning/2017/03/29/online-learning/

Comments

[IS.SEKI]

ご回答ありがとうございます。
> 確率的勾配法は1個のサンプルを使って一回パラメータを更新します。
これはオンライン学習と『本質的に』『計算的に』まったく同じではないでしょうか。
両者の違いは何でしょうか。
また宜しくお願い致します。

[tachikoma]

予めサンプルが揃っているかだと思います。

[tachikoma]

オンライン学習は一度学習した後の追加学習のようなものなので、それを確率的勾配法でやるかミニバッチでやるかと言った選択肢を選べると思います。

[tachikoma]

あと、例えばベイジアンモデルのオンライン学習だとモデルの更新と確率的勾配法とはあんまし関係ない気がしますね。

[IS.SEKI]

tachikoma 様
綺麗な解説有難うございます！
良い勉強になりました。