TensorFlowのモデルが正しく復元されない

Question

tensorflowで学習させたモデルを正しく復元させたい

現在colaboratory・python・tensorflowを使用して、CNNをつくっています。しかし、学習させたモデルをtf.train.Saver().save()で保存した後、異なるファイルにおいて、tf.train.Saver().restore()で復元をした後に同じデータでテストしたのですが全く違う結果が出力されます。
おそらく、変数の入れ込みがうまくいっていないか、保存の仕方が間違っているかだと思うのですが、どこがおかしいのかわかりません。
保存時のエラーなどはありませんが、復元時以下のようなwarningが出ます（毎回、sess.close()は行っているはずなのですが、）。
また、違う方法で変数を保存する方法などありましたらお教えください。

発生している問題・エラーメッセージ

INFO:tensorflow:Restoring parameters from /・・・/y_12_testmodel
/usr/local/lib/python3.6/dist-packages/tensorflow_core/python/client/session.py:1750: UserWarning: An interactive session is already active. This can cause out-of-memory errors in some cases. You must explicitly call `InteractiveSession.close()` to release resources held by the other session(s).
  warnings.warn('An interactive session is already active. This can '

該当のソースコード

#モデルの形、損失関数、勾配法などの定義の後

x  = tf.placeholder(tf.float32, shape=[None, C_input_size])
y_ = tf.placeholder(tf.float32, shape=[None, output_size])

logits        = inference(x)
cross_entropy = loss(logits, y_)
train_step    = training(cross_entropy) 

sess = tf.InteractiveSession()
sess.run(tf.initialize_all_variables())
saver = tf.train.Saver()

epoch=1000
test_delay=100
batch_size=1000

array_num=int(epoch/test_delay)+3
train_accuracy=[0 for i in range(array_num)]
accuracy=[0 for i in range(array_num)]
train_accuracy[0] = 0

#学習前のaccuracy（変数をすべてランダムで決定）
accuracy[0] = test(x, y_, logits, test_im, test_dire)
print("train_Accuracy[%f],Accuracy[%f]" % (train_accuracy[0],accuracy[0]))

#トレーニング開始
for i in range(epoch+1):
    im_batch,dire_batch = next_batch(batch_size, train_im, train_dire)
    sess.run(train_step,feed_dict={x: im_batch, y_: dire_batch})
    if i % test_delay == 0:
        #学習に使用したデータでaccuracy算出
        train_accuracy[int(i/test_delay)+1] = test(x,y_,logits,im_batch,dire_batch) 
        num = random.randint(0, len(test_im)-batch_size-1)
        #test用データでaccuracy算出
        accuracy[int(i/test_delay)+1] = test(x,y_,logits,test_im[num:num+batch_size],test_dire[num:num+batch_size])
        
        print("Train Step:[%d],train_Accuracy[%f],Accuracy[%f]" % (i, train_accuracy[int(i/test_delay)+1],accuracy[int(i/test_delay)+1]))

#トレーニング終了
train_accuracy[int(epoch/test_delay)+2] = test(x, y_, logits,im_batch , dire_batch)
accuracy[int(epoch/test_delay)+2] = test(x, y_, logits, test_im, test_dire)
print("train_Accuracy[%f],Accuracy[%f]" % (train_accuracy[int(epoch/test_delay)+2],accuracy[int(epoch/test_delay)+2]))

ver="y_12_test"
cwd="/.../"+ver
saver.save(sess , cwd + "/"+ver+"model")

#この後に他に用意されたデータでtestを行っています

###########################異なるファイルにおいて##########################

#モデルの形、損失関数、勾配法などの定義の後

x  = tf.placeholder(tf.float32, shape=[None, C_input_size])
y_ = tf.placeholder(tf.float32, shape=[None, output_size])

logits        = inference(x)
cross_entropy = loss(logits, y_)
train_step    = training(cross_entropy) 

saver = tf.train.Saver()
sess= tf.InteractiveSession()
sess.run(tf.global_variables_initializer())

ver="y_12_test"
cwd="/.../"+ver

saver.restore(sess,cwd + "/"+ver+"model")

#この後に保存時に使用した同じデータでtestを行うと違う結果となります。

試したこと

tf.train.import_meta_graph()をするべきと書かれているのを見つけ、行いましたが変化はありませんでした。

補足情報（FW/ツールのバージョンなど）

Google Colaboratory
TensorFlow　ver 1.15（colaboratoryのデフォルト）
python3

Answer 1

UserWarning: An interactive session is already active. This can cause out-of-memory errors in some cases. You must explicitly call InteractiveSession.close() to release resources held by the other session(s).

「対話中のセッションは、すでに有効です。これは、アウトオブメモリーエラーを引き起こすことがあります。あなたは、他のセッションで、明確に 'InteractiveSession.close()' を呼び出して、リソースを解放しなければなりません。」
このメッセージが出る、あなたのコードでの行を、ステップ実行で特定して下さい。Jupyter Notebookなら、一旦全ての内容をメモ帳などに写し、1行ずつコピペして実行して下さい。Google Colaboratoryというのが完全にリモートに投げるものなら、ローカルにデバッグ環境を作りましょう。

Comments

[sora16ink]

回答ありがとうございます。
Google Colaboratory（使い方はjupyterと似ています）で一行ずつ実行したところsess= tf.InteractiveSession()でwarningが出ています。一回実行したものにsess.close()をやってもこのwarningが出るというのはおかしいと思うのですが、そのファイルで初めてsess= tf.InteractiveSession()をした際にはwarningはでません。しかし、出力は異なっているので正しく復元はできていないようです。
そのため、やはりwarningは関係ないように感じます。

[Q71]

正しく復元されていないのではなく、すでに開いているセッションへの復元はできない、ということを疑っています。セッションを利用中なので、利用中のメモリ内容を書き換えない、ということではないでしょうか。