trainのオプション用語

Question

今モデルを回しているのですが
train_batch_size
training_number_of_steps
base_learning_rate
learning_rate_decay_step
上記の用語の意味をよく理解していないので、教えてもらえないでしょうか。

Answer 1

• train_batch_size: バッチサイズ、ミニバッチサイズ
• training_number_of_steps: 1エポックあたりのステップ数

図で説明します。
以下は、48個から成るデータセットを表しています。
学習する際には、「データセットから順番にいくつかのサンプルを取り出して、学習する」ということを繰り返します。この1回の作業を1ステップと数えます。
この際に取り出すサンプルの数がミニバッチサイズです。

今回、ミニバッチサイズは10なので、5ステップで全部のデータを1回ずつネットワークに流したことになり、これを1エポックと数えます。
training_number_of_steps は1エポックあたりのステップ数なので、この場合5になります。

1ステップ目: 0番目 ～ 9番目
2ステップ目: 10番目 ～ 19番目
3ステップ目: 20番目 ～ 29番目
4ステップ目: 30番目 ～ 39番目
5ステップ目: 40番目 ～ 47番目 (48は10で割り切れないので最後だけ8個になります。)

(アニメgif はリピートするようになってないので、繰り返し再生する場合はページを更新してください。)

• base_learning_rate: 最初の学習率
• learning_rate_decay_step: 学習率を減衰させるステップ数

base_learning_rate=0.01、learning_rate_decay_step=1000 とすると、
最初の1 ~ 1000 ステップは学習率0.01、次の1001 ～ 2000ステップは 0.001 といったように学習率を小さくする場合のパラメータです。

Comments

[buffalo]

わかりやすい説明ありがとうございます。