質問編集履歴
1
質問の改善
title
CHANGED
|
@@ -1,1 +1,1 @@
|
|
|
1
|
-
Tensorflow(keras)でのGPUメモリ使用量に
|
|
1
|
+
Tensorflow(keras)でのGPUメモリ使用量をMAXにしたい
|
body
CHANGED
|
@@ -3,8 +3,9 @@
|
|
|
3
3
|
|
|
4
4
|
|
|
5
5
|
###発生している問題
|
|
6
|
-
tensorflowのデフォルトの設定はGPUメモリを割り当てられるだけの全てを割り当てるという仕様になってい
|
|
6
|
+
tensorflowのデフォルトの設定はGPUメモリを割り当てられるだけの全てを割り当てるという仕様になっているはずです．
|
|
7
7
|
しかし新しく環境設定したGPUマシン（1080Ti ×2）で同様のスクリプトを実行する際に，GPUメモリの一部が割り当てられず（nvidia-smiのmemory usage: 9588MiB / 11264MiB），メモリが足りずにResourceExhoustedErrorが起きてしまいます．
|
|
8
|
+
ちなみに正常にスクリプトが動作する1080Tiを一つだけ積んだPCでは，nvidia-smi上の表示では11015MiB/11264MiBという割り当てになっています．
|
|
8
9
|
|
|
9
10
|
###該当のソースコード
|
|
10
11
|
|
|
@@ -103,11 +104,11 @@
|
|
|
103
104
|
|
|
104
105
|
###環境
|
|
105
106
|
OS: Windows10
|
|
106
|
-
library: python 3.6, keras 2.0.8, tensorflow-gpu 1.3.0
|
|
107
|
+
library: python 3.6, keras 2.0.8, tensorflow-gpu 1.3.0, CUDA8.0 CUDNN6.0
|
|
107
108
|
|
|
108
109
|
###補足＆試したこと
|
|
109
110
|
まずtensorflow側の問題なのかそれともCUDAなどのGPU周りの設定等の問題なのかを切り分けるために色々Web上の情報などを参考にしましたが結局分からず仕舞いといったところです．
|
|
110
111
|
他のサービスがGPUメモリの一部を既に予約してしまっている可能性が一番濃厚だと思ったのですが，Memory Usageを見てもメモリのほとんど全てを使っているという感じはありません．
|
|
111
|
-
Insufficient Permissionも怪しく思い，PIDからプロセスを割り出したところ
|
|
112
|
+
Insufficient Permissionも怪しく思い，PIDからプロセスを割り出したところ，dmw.exeなどの細々としたものでした．
|
|
112
113
|
|
|
113
|
-
|
|
114
|
+
GPUメモリがきちんとフルに割り当てられない原因について何か分かる方がいれば教えていただけると嬉しいです．
|