MNISTにおけるバッチサイズについて教えてください。

PythonでMNISTを使いニューラルネットワーク（以下NN）の勉強をしています。
バッチサイズパラメータが何をしているのかわかりません。
ネットで調べると、
Epochによって学習が繰り返される際に使用する画像の枚数と表記がありました。
Batch size : 128
の例であれば、1epochの間に使用される画像枚数が、128枚使用されるという認識で良いのでしょうか。
またそれらの画像はランダムで選ばれるのでしょうか。

教えて頂けると助かります。

よろしくお願い致します。

jbpb0

2021/01/18 08:47

> 1epochの間に使用される画像枚数が、128枚使用される違います 1エポックで、学習用の全部の画像が使われます参考 https://qiita.com/kenta1984/items/bad75a37d552510e4682

watchdogs

2021/01/19 02:14

ご回答ありがとうございます。下記の認識で正しいか確認させていただけますか？ MNISTには学習用データが60,000枚ある。バッチサイズ128　エポック200で検証を行う場合サブセットは, 60,000データ　/　128　＝　468.75 個作成されるサブセットの中身には128個づつでデータが入っている。ランダム？順番に？←ここがわかりません。つまりインテレーションは468.75である。学習は、468.75回を1epochとしてそれを200回繰り返す。つまり、バッチサイズを変えるとサブセットの数が変わる。 1epochで128個だけの画像が使われるわけではない。この理解で正しいでしょうか。

jbpb0

2021/01/19 02:45 編集

60000サンプルを全部学習だけに使った場合は、概ねその通りですが、実際は一部をvalidation用に分ける場合が多いので、その場合はサンプル数が減りますたとえば、下記Webページの最初の例のように9:1で分けたら、学習用は60000x0.9=54000サンプルになります https://intellectual-curiosity.tokyo/2019/06/29/keras%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8Btrain%E3%80%81validation%E3%80%81test%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/

jbpb0

2021/01/19 02:43

> インテレーションは468.75である。実際は、それを整数にしますけど、どうしてるかはよく知りませんたとえば下記を見ると切り上げって書かれてるので、一般的にそうなのかもしれません (実装依存かも) https://qiita.com/narista/items/a65b87bbc4ca8792da09 https://arakan-pgm-ai.hatenablog.com/entry/2018/03/28/090000

jbpb0

2021/01/19 02:53

> ランダム？順番に？←ここがわかりません。どちらにも設定できますが、一般的には学習時はランダムにする方が多いと思いますただし、ランダムと言っても、128サンプルを選ぶ際に毎回ランダムに選ぶのではなく、各エポック開始時にデータ全体の順番をランダムに変えて、先頭から128サンプルずつ順番に取り出す、みたいな感じだと思います (こちらも実装依存かも) 参考 https://keras.io/ja/getting-started/faq/#_9 の「訓練時にデータはシャッフルされますか？」

watchdogs

2021/01/19 03:01

理解しました！　ありがとうございました。