機械学習 keras optimizerの設定に関して

Question

実現したいこと

kerasにてオプティマイザーにミニバッチ勾配降下法を設定する

前提

機械学習初学者です．
ミニバッチ勾配降下法と確率的勾配降下法の2つの最適化アルゴリズムに関して以下のような理解をしております．

・ミニバッチ勾配降下法
1.学習データからbatch_size個のデータを抽出し，平均勾配を計算する。
2.平均勾配を使用し，重みを更新
3.学習データをすべて使うまで1,2を繰り返す

・確率的勾配降下法
ミニバッチ勾配降下法にてbatch_size=1のとき

質問

model.compile(optimizer='SGD',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

history = model.fit(x_train, y_train, batch_size=128, epochs=50,
                    validation_split=0.2)

このようなコードを書いた場合，batch_size=128のミニバッチ勾配降下法で重みが更新されるのでしょうか？

また，単なる確率的勾配降下法を利用したい場合には，batch_size=1とすれば実現できるのでしょうか？

Answer 1

batch_size = 1: オンライン学習(確率的勾配降下法)
batch_size = 一部: ミニバッチ学習(ミニバッチ確率的勾配降下法)
batch_size = 全体: バッチ学習(最急降下法)

であるから，

このようなコードを書いた場合，batch_size=128のミニバッチ勾配降下法で重みが更新されるのでしょうか？また，単なる確率的勾配降下法を利用したい場合には，batch_size=1とすれば実現できるのでしょうか？

そういうことになります．

Comments

[ps_aux_grep]

歴史的側面から言うと，最急降下法が先にあって，そこからSGD，更にミニバッチSGDと派生しているようです．
バッチサイズの扱いについては，次のページを参考にしてください
https://medium.com/mini-distill/effect-of-batch-size-on-training-dynamics-21c14f7a716e

[Eir_03]

回答ありがとうございます．
よく理解することができました．
教えていただいたサイトなども参考に勉強がんばりたいと思います．