teratail header banner
teratail header banner
質問するログイン新規登録

回答編集履歴

2

マイナー変更

2017/11/16 08:20

投稿

mkgrei
mkgrei

スコア8562

answer CHANGED
@@ -1,16 +1,15 @@
1
- 1.およそその認識で正しいのではないでしょうか。←オンライン学習などについて
1
+ 1.およそその認識で正しいのではないでしょうか。←オンライン学習などについて(ジェネレータならちょっと複雑です。言葉の定義的な意味で。[ミニバッチ学習もオンライン学習の一種に含まれそうですし。](https://www.ai-gakkai.or.jp/my-bookmark_vol30-no5/))
2
- 普通はデータセットの方がずっと大きいので、学習時にメモリに乗せるため適切なバッチサイズが必要となります
2
+ 普通はデータセットの方がずっと大きいので、学習時にメモリに乗せるため適切なバッチサイズが必要となります。
3
- 割り切れない場合、残りは切り捨てることが多いと思いますが、実際の実装を見るしかないでしょう。暇があったら調べます。(追記しました
3
+ 割り切れない場合、残りは切り捨てることが多いと思いますが、実際の実装を見るしかないでしょう。暇があったら調べます。(切り捨てないようです。
4
- データセットより大きくなる場合、エラーが出そうですが…(エラーが出ないように処理されていました。num_epochs=1ならデータセットで打ち切りです。num_epochs=Noneなら指定したbatch_sizeまでデータをかさ増しします。)
4
+ データセットより大きくなる場合、エラーが出そうですが…(一度目まではエラーが出ないように処理されていました。num_epochs=1ならデータセットサイズで打ち切りです。num_epochs=Noneなら指定したbatch_sizeまでデータをかさ増しします。)
5
- 込み入った話:画像データなどの場合、切り抜いたり変形させたりして学習させることがあり、元のデータから大量にデータを生成するテクニックがあります。その場合、バッチサイズに合うように大量にデータが作り出されていくので、教師データサイズは直接関係しません。
5
+ 込み入った話:画像データなどの場合、切り抜いたり変形させたりして学習させることがあり、元のデータから大量にデータを生成する[テクニック](https://keras.io/ja/preprocessing/image/)があります。その場合、バッチサイズに合うように大量にデータが作り出されていくので、教師データサイズは直接関係しません。(ジェネレータだったので、今回のケースに相当します。)
6
- https://stackoverflow.com/questions/41175401/what-is-a-batch-in-tensorflow
7
6
 
8
7
  2.epochと一緒にstepを考えべきでしょう。
9
- 以下が詳しいです。
10
- https://stackoverflow.com/questions/38340311/what-is-the-difference-between-steps-and-epochs-in-tensorflow
8
+ [ここ](https://stackoverflow.com/questions/38340311/what-is-the-difference-between-steps-and-epochs-in-tensorflow)が詳しいです。
11
9
 
12
10
  以下にもっと一般的な話があるので、そちらを理解すると、今の疑問が解決するかと。
13
- https://towardsdatascience.com/epoch-vs-iterations-vs-batch-size-4dfb9c7ce9c9
11
+ [学習時のバッチサイズ、エポック、ステップについて](https://towardsdatascience.com/epoch-vs-iterations-vs-batch-size-4dfb9c7ce9c9)
12
+ [バッチについて詳しく](https://stackoverflow.com/questions/41175401/what-is-a-batch-in-tensorflow)
14
13
 
15
14
  ---
16
15
  追記:
@@ -26,14 +25,23 @@
26
25
 
27
26
  x = {'in': np.array([1., 2., 3., 4.])}
28
27
  y = np.array([0., -1., -2., -3.])
28
+
29
29
  print('Shuffle', 'epochs', 'batch_size', 'target')
30
30
  for fs in [False, True]:
31
- for ie in range(1,4):
31
+ for ie in [1, 2, None]:
32
32
  for ib in range(1, 10):
33
33
  with tf.Session() as sess:
34
- input_fn = tf.estimator.inputs.numpy_input_fn(x, y, batch_size=ib, shuffle=fs, num_epochs=ie)
34
+ input_fn = tf.estimator.inputs.numpy_input_fn(x,
35
+ y,
36
+ batch_size=ib,
37
+ shuffle=fs,
38
+ num_epochs=ie)
35
39
  bs = input_fn()
36
40
  coord = tf.train.Coordinator()
37
41
  threads = tf.train.start_queue_runners(sess, coord=coord)
42
+ for j in range(3):
43
+ try:
38
- print(fs, ie, ib, sess.run(bs[1]))
44
+ print(fs, ie, ib, sess.run(bs[1]))
45
+ except Exception as e:
46
+ print(fs, ie, ib, 'no more data')
39
47
  ```

1

追記

2017/11/16 08:20

投稿

mkgrei
mkgrei

スコア8562

answer CHANGED
@@ -1,7 +1,7 @@
1
1
  1.およそその認識で正しいのではないでしょうか。←オンライン学習などについて
2
2
  普通はデータセットの方がずっと大きいので、学習時にメモリに乗せるため適切なバッチサイズが必要となりますが。
3
- 割り切れない場合、残りは切り捨てることが多いと思いますが、実際の実装を見るしかないでしょう。暇があったら調べます。
3
+ 割り切れない場合、残りは切り捨てることが多いと思いますが、実際の実装を見るしかないでしょう。暇があったら調べます。(追記しました)
4
- データセットより大きくなる場合、エラーが出そうですが…
4
+ データセットより大きくなる場合、エラーが出そうですが…(エラーが出ないように処理されていました。num_epochs=1ならデータセットで打ち切りです。num_epochs=Noneなら指定したbatch_sizeまでデータをかさ増しします。)
5
5
  込み入った話:画像データなどの場合、切り抜いたり変形させたりして学習させることがあり、元のデータから大量にデータを生成するテクニックがあります。その場合、バッチサイズに合うように大量にデータが作り出されていくので、教師データサイズは直接関係しません。
6
6
  https://stackoverflow.com/questions/41175401/what-is-a-batch-in-tensorflow
7
7
 
@@ -10,4 +10,30 @@
10
10
  https://stackoverflow.com/questions/38340311/what-is-the-difference-between-steps-and-epochs-in-tensorflow
11
11
 
12
12
  以下にもっと一般的な話があるので、そちらを理解すると、今の疑問が解決するかと。
13
- https://towardsdatascience.com/epoch-vs-iterations-vs-batch-size-4dfb9c7ce9c9
13
+ https://towardsdatascience.com/epoch-vs-iterations-vs-batch-size-4dfb9c7ce9c9
14
+
15
+ ---
16
+ 追記:
17
+ この関数、feedに食わせるためのジェネレータなんですね。
18
+ 知りませんでした。勉強になっておもしろかったです。
19
+
20
+ 以下のコードを試して走らせてみると、挙動について理解できます。
21
+ ちなみにtensorflowはバージョンが変わるたびに関数の場所がコロコロ変わっており、以下のコードはr1.1.0で動くことしか確認しておりません。
22
+
23
+ ```python
24
+ import numpy as np
25
+ import tensorflow as tf
26
+
27
+ x = {'in': np.array([1., 2., 3., 4.])}
28
+ y = np.array([0., -1., -2., -3.])
29
+ print('Shuffle', 'epochs', 'batch_size', 'target')
30
+ for fs in [False, True]:
31
+ for ie in range(1,4):
32
+ for ib in range(1, 10):
33
+ with tf.Session() as sess:
34
+ input_fn = tf.estimator.inputs.numpy_input_fn(x, y, batch_size=ib, shuffle=fs, num_epochs=ie)
35
+ bs = input_fn()
36
+ coord = tf.train.Coordinator()
37
+ threads = tf.train.start_queue_runners(sess, coord=coord)
38
+ print(fs, ie, ib, sess.run(bs[1]))
39
+ ```