質問編集履歴
2
質問内容の簡潔化
title
CHANGED
|
@@ -1,1 +1,1 @@
|
|
|
1
|
-
[TensorFlow]学習した
|
|
1
|
+
[TensorFlow]学習したmodelを保存したい
|
body
CHANGED
|
@@ -1,61 +1,25 @@
|
|
|
1
1
|
tensorflowを使ってGANを学習させているのですが、generatorとdiscriminatorを別々に保存・復元できるようにしたいです。
|
|
2
|
-
|
|
2
|
+
graphはそれぞれ"gen"と"dis"のscopeに属すよう作成しました。
|
|
3
3
|
そのうえで、saverをそれぞれ以下のように定義し、
|
|
4
|
-
```
|
|
4
|
+
```python
|
|
5
5
|
gen_var = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, "gen")
|
|
6
6
|
dis_var = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, "dis")
|
|
7
7
|
saver_gen = tf.train.Saver(gen_var)
|
|
8
8
|
saver_dis = tf.train.Saver(dis_var)
|
|
9
9
|
```
|
|
10
|
-
それぞれの
|
|
10
|
+
学習後それぞれの保存と
|
|
11
|
-
```
|
|
11
|
+
```python
|
|
12
12
|
saver_gen.save(sess, MODEL_GEN_DIR + "model.ckpt")
|
|
13
13
|
saver_dis.save(sess, MODEL_DIS_DIR + "model.ckpt")
|
|
14
14
|
```
|
|
15
15
|
復元をこのように記述しています。
|
|
16
|
-
```
|
|
16
|
+
```python
|
|
17
|
+
sess.tf.global_variables_initializer()
|
|
17
18
|
saver_gen.restore(sess, MODEL_GEN_DIR + "model.ckpt")
|
|
18
19
|
saver_dis.restore(sess, MODEL_DIS_DIR + "model.ckpt")
|
|
19
20
|
```
|
|
20
|
-
saveとrestoreを行う際はエラーも出ず一見うまくいっているようなのですが、
|
|
21
|
+
saveとrestoreを行う際はエラーも出ず一見うまくいっているようなのですが、出力が保存時と復元時で異なっているようなのです。
|
|
22
|
+
variableを詳しく調べてみると、tf.contrib.layers.batch_norm()で使用される'(スコープ)/moving_mean'と'(スコープ)/moving_variance'のvariableが保存されていない事がわかりました。
|
|
23
|
+
どうやら、batch_normのvariableの内gammaとbetaはtf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES)で取得できるが、moving_meanとmoving_varianceは取得できていないようです。
|
|
21
24
|
|
|
22
|
-
恐らく原因はgeneratorに入れたtf.contrib.layers.batch_norm()なのではないかと思っています。
|
|
23
|
-
学習する際に
|
|
24
|
-
```TF
|
|
25
|
-
with tf.control_dependencies(tf.get_collection(tf.GraphKeys.UPDATE_OPS, "gen")):
|
|
26
|
-
tf.train.AdamOptimizer(learning_rate=GEN_LEARNING_RATE).minimize(
|
|
27
|
-
g_loss, var_list=gen_var, name="gen_opt"
|
|
28
|
-
)
|
|
29
|
-
```
|
|
30
|
-
の様にtf.GraphKeys.UPDATE_OPSを指定しなければなりません。
|
|
31
|
-
tf.GraphKeys.UPDATE_OPSがなんなのか理解できていないのですが、このあたりがあやしいような・・・
|
|
32
|
-
|
|
33
|
-
スコープを指定せずに全てを保存した場合はしっかりと復元できている事は確認しています。
|
|
34
|
-
|
|
25
|
+
この２変数の取得はどのように行えばよいでしょうか？御教示お願いします。
|
|
35
|
-
|
|
36
|
-
---
|
|
37
|
-
追記
|
|
38
|
-
モデルをrestoreする際に、先にglobal_variables_initializer()を使用せずやってみたところ
|
|
39
|
-
```TF
|
|
40
|
-
FailedPreconditionError (see above for traceback): Attempting to use uninitialized value "BNまでのスコープ"/moving_mean>
|
|
41
|
-
```
|
|
42
|
-
とエラーが出ました。
|
|
43
|
-
optimizerがvariableを持っている事は知っているので、ここではoptimizer関連のエラーのみが出ると思っていましたが、どうやらtf.GraphKeys.TRAINABLE_VARIABLES以外のvariable(?)が存在しているのですかね？
|
|
44
|
-
|
|
45
|
-
tf.contrib.layers.batch_norm()関連の変数ですが、
|
|
46
|
-
tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES)で
|
|
47
|
-
```TF
|
|
48
|
-
<tf.Variable "BNまでのスコープ"/gamma:0' shape=(32,) dtype=float32_ref>
|
|
49
|
-
<tf.Variable "BNまでのスコープ"/beta:0' shape=(32,) dtype=float32_ref>
|
|
50
|
-
```
|
|
51
|
-
tf.get_collection(tf.GraphKeys.UPDATE_OPS)で
|
|
52
|
-
```TF
|
|
53
|
-
Tensor("BNまでのスコープ"/AssignMovingAvg:0", shape=(32,), dtype=float32_ref)
|
|
54
|
-
Tensor("BNまでのスコープ"/AssignMovingAvg_1:0", shape=(32,), dtype=float32_ref)
|
|
55
|
-
```
|
|
56
|
-
が取得できます。
|
|
57
|
-
|
|
58
|
-
そもそもtf.GraphKeys.TRAINABLE_VARIABLESにはoptimizerの変数が含まれていない様なので、sarver定義時に入れる変数名はTRAINABLE_VARIABLESだけでは足りていないということになるのでしょうか。
|
|
59
|
-
|
|
60
|
-
タイトルは「グラフを二つに分けたい」でしたが、質問の内容が少し変わりました。
|
|
61
|
-
modelを保存する際に全ての情報を指定し、引数を指定しないtf.train.Saver()と同じsarverを作るにはどうすればよいのでしょうか？
|
1
追記
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -31,4 +31,31 @@
|
|
|
31
31
|
tf.GraphKeys.UPDATE_OPSがなんなのか理解できていないのですが、このあたりがあやしいような・・・
|
|
32
32
|
|
|
33
33
|
スコープを指定せずに全てを保存した場合はしっかりと復元できている事は確認しています。
|
|
34
|
-
グラフを二つに分けて保存した際、完全な復元をするにはどのようにすればよいですか？御教示お願いします。
|
|
34
|
+
グラフを二つに分けて保存した際、完全な復元をするにはどのようにすればよいですか？御教示お願いします。
|
|
35
|
+
|
|
36
|
+
---
|
|
37
|
+
追記
|
|
38
|
+
モデルをrestoreする際に、先にglobal_variables_initializer()を使用せずやってみたところ
|
|
39
|
+
```TF
|
|
40
|
+
FailedPreconditionError (see above for traceback): Attempting to use uninitialized value "BNまでのスコープ"/moving_mean>
|
|
41
|
+
```
|
|
42
|
+
とエラーが出ました。
|
|
43
|
+
optimizerがvariableを持っている事は知っているので、ここではoptimizer関連のエラーのみが出ると思っていましたが、どうやらtf.GraphKeys.TRAINABLE_VARIABLES以外のvariable(?)が存在しているのですかね？
|
|
44
|
+
|
|
45
|
+
tf.contrib.layers.batch_norm()関連の変数ですが、
|
|
46
|
+
tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES)で
|
|
47
|
+
```TF
|
|
48
|
+
<tf.Variable "BNまでのスコープ"/gamma:0' shape=(32,) dtype=float32_ref>
|
|
49
|
+
<tf.Variable "BNまでのスコープ"/beta:0' shape=(32,) dtype=float32_ref>
|
|
50
|
+
```
|
|
51
|
+
tf.get_collection(tf.GraphKeys.UPDATE_OPS)で
|
|
52
|
+
```TF
|
|
53
|
+
Tensor("BNまでのスコープ"/AssignMovingAvg:0", shape=(32,), dtype=float32_ref)
|
|
54
|
+
Tensor("BNまでのスコープ"/AssignMovingAvg_1:0", shape=(32,), dtype=float32_ref)
|
|
55
|
+
```
|
|
56
|
+
が取得できます。
|
|
57
|
+
|
|
58
|
+
そもそもtf.GraphKeys.TRAINABLE_VARIABLESにはoptimizerの変数が含まれていない様なので、sarver定義時に入れる変数名はTRAINABLE_VARIABLESだけでは足りていないということになるのでしょうか。
|
|
59
|
+
|
|
60
|
+
タイトルは「グラフを二つに分けたい」でしたが、質問の内容が少し変わりました。
|
|
61
|
+
modelを保存する際に全ての情報を指定し、引数を指定しないtf.train.Saver()と同じsarverを作るにはどうすればよいのでしょうか？
|