質問編集履歴
4
誤解を招く、無駄な情報の削除
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
### 問題・質問
|
|
2
2
|
|
|
3
|
-
keras,tensorflow2.3を用いてモデル構造を試行錯誤中、あるモデルがメモリ(GPUではなく、データセットとも別)を35GB消費していました。
|
|
3
|
+
keras,tensorflow2.3を用いてモデル構造を試行錯誤中、あるモデルがメモリ(GPUメモリではなく、データセットとも別)を35GB消費していました。
|
|
4
4
|
|
|
5
5
|
モデルにスライスを多用しており、そのせいで計算グラフが肥大化しているのではないかと考えているのですが、検索してもそれらしい回答は得られませんでした。
|
|
6
6
|
|
3
速度の改善
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
### 問題・質問
|
|
2
2
|
|
|
3
|
-
keras,tensorflow2.3を用いてモデル構造を試行錯誤中、あるモデルがメモリ(GPUではなく、データセットとも別)を35GB消費していました。コミットチャージも30GBほど使用しており、そのせいか1step毎に1分かかるほど遅いです。
|
|
3
|
+
keras,tensorflow2.3を用いてモデル構造を試行錯誤中、あるモデルがメモリ(GPUではなく、データセットとも別)を35GB消費していました。コミットチャージも30GBほど使用しており、そのせいか~~1step毎に1分かかるほど遅いです。~~※遅いのはデータセット逐次的読み込み時のバグのせいでした。
|
|
4
4
|
|
|
5
5
|
モデルにスライスを多用しており、そのせいで計算グラフが肥大化しているのではないかと考えているのですが、検索してもそれらしい回答は得られませんでした。
|
|
6
6
|
|
2
メモリ使用量追跡
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,12 +1,12 @@
|
|
|
1
1
|
### 問題・質問
|
|
2
2
|
|
|
3
|
-
keras,tensorflow2.3を用いてモデル構造を試行錯誤中、あるモデルが
|
|
3
|
+
keras,tensorflow2.3を用いてモデル構造を試行錯誤中、あるモデルがメモリ(GPUではなく、データセットとも別)を35GB消費していました。コミットチャージも30GBほど使用しており、そのせいか1step毎に1分かかるほど遅いです。
|
|
4
4
|
|
|
5
5
|
モデルにスライスを多用しており、そのせいで計算グラフが肥大化しているのではないかと考えているのですが、検索してもそれらしい回答は得られませんでした。
|
|
6
6
|
|
|
7
7
|
|
|
8
8
|
|
|
9
|
-
そこで、kerasが
|
|
9
|
+
そこで、kerasが使用するメモリ量は何に依存するのか、どういう処理をしてるかなど、大まかでもよいので教えていただけないでしょうか？
|
|
10
10
|
|
|
11
11
|
### 試したモデルについて
|
|
12
12
|
|
|
@@ -24,10 +24,20 @@
|
|
|
24
24
|
|
|
25
25
|
```
|
|
26
26
|
|
|
27
|
-
###
|
|
27
|
+
### メモリ使用量追跡
|
|
28
28
|
|
|
29
29
|
搭載メモリ16GB。
|
|
30
30
|
|
|
31
|
-
|
|
31
|
+
リソースモニターのメモリタブpython.exeを追跡しました。
|
|
32
32
|
|
|
33
|
+
データセット読み込み前：コミット0.58GB ワーキング0.23GB
|
|
34
|
+
|
|
35
|
+
データセット読み込み後：コミット2.72GB ワーキング2.37GB
|
|
36
|
+
|
|
37
|
+
モデルcompile後：コミット13.72GB ワーキング5.44GB
|
|
38
|
+
|
|
39
|
+
モデルtrain中：コミット29~33GB ワーキング7~13GB
|
|
40
|
+
|
|
41
|
+
|
|
42
|
+
|
|
33
|
-
|
|
43
|
+
CPU使用率14%,GPU使用率1%,専用GPUメモリ使用率90%のため、GPUを認識していないわけでも、計算能力が足りていないわけでもないようです。
|
1
補足情報：マシンスペック
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -23,3 +23,11 @@
|
|
|
23
23
|
a = [encoder(input_[:,x]) for x in range(input_.shape[1])]
|
|
24
24
|
|
|
25
25
|
```
|
|
26
|
+
|
|
27
|
+
### 補足
|
|
28
|
+
|
|
29
|
+
搭載メモリ16GB。
|
|
30
|
+
|
|
31
|
+
train時にタスクマネージャーではメモリ使用率60%程、リソースモニターではコミット42GB、ワーキングセット3GBとなっています。
|
|
32
|
+
|
|
33
|
+
また、CPU使用率14%,GPU使用率1%,専用GPUメモリ使用率90%のため、GPUを認識していないわけでも、計算能力が足りていないわけでもないようです。
|