Neural Network Consoleで実行ができません

前提・実現したいこと

SONYのNeural Network Consoleで学習の実行をすると、以下のエラーメッセージがでてきます。対処方法をよろしくお願いいたします。

発生している問題・エラーメッセージ

2020-12-29 15:51:40,852 Training process is started.
python "C:\Users\max\Desktop\neural_network_console\libs\Python\Lib\site-packages\nnabla\utils\cli\cli.py" train
	-c "C:\Users\max\Desktop\neural_network_console\samples\sample_project\image_recognition\ILSVRC2012\residual networks\resnet-50.files\20201229_155140\net.nntxt"
	-o "C:\Users\max\Desktop\neural_network_console\samples\sample_project\image_recognition\ILSVRC2012\residual networks\resnet-50.files\20201229_155140"
2020-12-29 15:51:48,811 [nnabla]: Train with contexts ['cpu', 'cuda', 'cudnn']
2020-12-29 15:51:48,827 [nnabla]: Training epoch 1 of 120 begin
Failed to allocate. Freeing memory cache and retrying.
Failed to allocate again.
2020-12-29 15:51:49,467 [nnabla]: An error occurred while executing backward of function Convolution_21_RepeatStart_3[2] (nn.ConvolutionCudaCudnn) in network Training
2020-12-29 15:51:49,467 [nnabla]: Network traceback:
2020-12-29 15:51:49,467 [nnabla]:   BatchNormalization_22_RepeatStart_3[2]
2020-12-29 15:51:49,467 [nnabla]:   Convolution_22_RepeatStart_3[2]
2020-12-29 15:51:49,467 [nnabla]:   ReLU_18_RepeatStart_3[2]
2020-12-29 15:51:49,467 [nnabla]:   BatchNormalization_21_RepeatStart_3[2]
2020-12-29 15:51:49,467 [nnabla]: ->Convolution_21_RepeatStart_3[2]
NNabla command line interface (Version:1.15.0.dev1, Build:201211124504)
Traceback (most recent call last):
  File "C:\Users\max\Desktop\neural_network_console\libs\Python\Lib\site-packages\nnabla\utils\cli\cli.py", line 141, in cli_main
    return_value = args.func(args)
  File "C:\Users\max\Desktop\neural_network_console\libs\Python\lib\site-packages\nnabla\utils\cli\train.py", line 649, in train_command
    result, restart = _train(args, config)
  File "C:\Users\max\Desktop\neural_network_console\libs\Python\lib\site-packages\nnabla\utils\cli\train.py", line 465, in _train
    cost = _update(iteration, config, cost)
  File "C:\Users\max\Desktop\neural_network_console\libs\Python\lib\site-packages\nnabla\utils\cli\train.py", line 210, in _update
    o.update_interval == 0)
  File "C:\Users\max\Desktop\neural_network_console\libs\Python\lib\site-packages\nnabla\utils\network.py", line 177, in backward
    self.backward_function(seq)
  File "C:\Users\max\Desktop\neural_network_console\libs\Python\lib\site-packages\nnabla\utils\network.py", line 187, in backward_function
    seq.func.variable_inputs, seq.func.variable_outputs, seq.accum_grad)
  File "function.pyx", line 214, in nnabla.function.Function.backward
RuntimeError: memory error in nbla::Memory::alloc
C:\a\_w\sDeepConsolePrototype\sDeepConsolePrototype\nnabla\src\nbla\memory\memory.cpp:38
Failed `this->alloc_impl()`: class nbla::CudaMemory allocation failed.

該当のソースコード

Neural
1

試したこと

エラー文章がそういう意味か分からず止まっています。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

jbpb0

2020/12/29 09:51

> CudaMemory allocation failed. GPUのメモリー確保に失敗してるようです Windowsのタスクマネージャーで、パフォーマンス→GPUで、下の方にメモリー使用量のグラフがありますそれを見て、メモリーに余裕があるか、確認してください Neural Network Consoleを起動してない状態で、メモリーに余裕がありますか？普通はメモリーは1GBも使われず、ほとんど空いてるはずそうなってなければ、何かがメモリーを確保したまま返してないので、何がメモリーを確保してるか突き止めて、それを止める必要がありますただし、プログラムを動かす前はGPUのメモリーが十分に空いてるけど、プログラムを実行したらメモリーが足りなくなって動かない、という場合はありますその場合は、メモリー使用量を減らすように、プログラムを修正する必要がありますバッチサイズを減らす等して