tfrecordファイルがtrain_1.tfrecords~train_43.tfrecordsまであり、
tfrecordファイルに一つに3万枚入っています
合計枚数は1290000枚です。
そこでtf.train.shuffle_batch()を使っていますが、パラメータ設定がわかりません。
ベストな設定値はどのような値すれば良いのでしょうか?
ご教授お願いします。
python
1tf.train.shuffle_batch( 2 tensors, 3 batch_size, 4 capacity, 5 min_after_dequeue, 6 num_threads=1,)
caifar-10のチュートリアルのように以下のように設定しました
python
1NUM_EXAMPLES_PER_EPOCH_FOR_TRAIN = 1290000 2min_fraction_of_examples_in_queue = 0.4 3min_queue_examples = int(NUM_EXAMPLES_PER_EPOCH_FOR_TRAIN * 4 min_fraction_of_examples_in_queue) 5 6batch_size = 128 7num_preprocess_threads = 16
そしたらメモリのエラーが出てしまいました。
python
12018-07-05 03:24:32.078342: E tensorflow/stream_executor/cuda/cuda_driver.cc:967] failed to alloc 34359738368 bytes on host: CUDA_ERROR_OUT_OF_MEMORY 22018-07-05 03:24:32.078411: W ./tensorflow/core/common_runtime/gpu/pool_allocator.h:195] could not allocate pinned host memory of size: 34359738368 32018-07-05 03:24:32.078477: E tensorflow/stream_executor/cuda/cuda_driver.cc:967] failed to alloc 30923763712 bytes on host: CUDA_ERROR_OUT_OF_MEMORY 42018-07-05 03:24:32.078494: W ./tensorflow/core/common_runtime/gpu/pool_allocator.h:195] could not allocate pinned host memory of size: 30923763712 52018-07-05 03:24:32.078526: E tensorflow/stream_executor/cuda/cuda_driver.cc:967] failed to alloc 27831386112 bytes on host: CUDA_ERROR_OUT_OF_MEMORY 62018-07-05 03:24:32.078571: W ./tensorflow/core/common_runtime/gpu/pool_allocator.h:195] could not allocate pinned host memory of size: 27831386112 7Killed
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/07/05 23:02
2018/07/05 23:25
2018/07/06 00:15