SGDのbatch size

Question

東大松尾研が無料公開している講座に載っているコードからの質問です。

MNISTのコードで、最小の方はいたって普通なのですが、

(省略)

model.compile(loss='categorical_crossentropy',
              optimizer='sgd',
              metrics=['accuracy'])

model.fit(x_train, y_train,
          batch_size=1000, epochs=10, verbose=1,
          validation_data=(x_test, y_test))          

といったように、optimizerをsgdにしているにもかかわらず、batch_sizeを1にしていないのはなぜでしょうか？
またこの場合どのように学習が進められていくのでしょうか？

ご回答宜しくお願い致します。

Answer 1

いわゆるミニバッチ学習と呼ばれるもので、これもSGDに含まれます。バッチサイズが1だろうが1000だろうが、全体のデータより少ない件数をランダムに選んで実行すれば、確率的になることに変わりはありません（ただし大きければ大きいほどバッチ学習、ただのGradient Descentに近づく）。

データ1つごとに重みを更新するのはオンライン学習と呼ばれるような手法です。
（オンライン学習でググると、プログラミング学習サービスの話と、デプロイしてから入ってきたデータで学習し続ける系の話がたくさん出てきて悪夢みたいな光景が広がりますが・・・）

オンライン学習=SGDとして説明しているところも多いですが、一応ミニバッチもSGDの一種と捉えて良いはずです。

またこの場合どのように学習が進められていくのでしょうか？

全体で5000件のデータがあるとして、ランダムにシャッフルして5分割してそれぞれでバッチ学習、を5回やって1epochになります。あとはこれの繰り返し。

Comments

[a_boy]

ご回答の通り、まさしくオンライン学習とSGDをごちゃまぜにして考えていました。
スッキリ解決することができました。ありがとうございます。