質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Google Colaboratory

Google Colaboratoryとは、無償のJupyterノートブック環境。教育や研究機関の機械学習の普及のためのGoogleの研究プロジェクトです。PythonやNumpyといった機械学習で要する大方の環境がすでに構築されており、コードの記述・実行、解析の保存・共有などが可能です。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

保存

保存(save)とは、特定のファイルを、ハードディスク等の外部記憶装置に記録する行為を指します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

1回答

2643閲覧

TensorFlowのモデルが正しく復元されない

sora16ink

総合スコア4

Google Colaboratory

Google Colaboratoryとは、無償のJupyterノートブック環境。教育や研究機関の機械学習の普及のためのGoogleの研究プロジェクトです。PythonやNumpyといった機械学習で要する大方の環境がすでに構築されており、コードの記述・実行、解析の保存・共有などが可能です。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

保存

保存(save)とは、特定のファイルを、ハードディスク等の外部記憶装置に記録する行為を指します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/01/24 20:24

編集2020/01/25 21:02

tensorflowで学習させたモデルを正しく復元させたい

現在colaboratory・python・tensorflowを使用して、CNNをつくっています。しかし、学習させたモデルをtf.train.Saver().save()で保存した後、異なるファイルにおいて、tf.train.Saver().restore()で復元をした後に同じデータでテストしたのですが全く違う結果が出力されます。
おそらく、変数の入れ込みがうまくいっていないか、保存の仕方が間違っているかだと思うのですが、どこがおかしいのかわかりません。
保存時のエラーなどはありませんが、復元時以下のようなwarningが出ます(毎回、sess.close()は行っているはずなのですが、)。
また、違う方法で変数を保存する方法などありましたらお教えください。

発生している問題・エラーメッセージ

INFO:tensorflow:Restoring parameters from /・・・/y_12_testmodel /usr/local/lib/python3.6/dist-packages/tensorflow_core/python/client/session.py:1750: UserWarning: An interactive session is already active. This can cause out-of-memory errors in some cases. You must explicitly call `InteractiveSession.close()` to release resources held by the other session(s). warnings.warn('An interactive session is already active. This can '

該当のソースコード

python

1#モデルの形、損失関数、勾配法などの定義の後 2 3x = tf.placeholder(tf.float32, shape=[None, C_input_size]) 4y_ = tf.placeholder(tf.float32, shape=[None, output_size]) 5 6logits = inference(x) 7cross_entropy = loss(logits, y_) 8train_step = training(cross_entropy) 9 10sess = tf.InteractiveSession() 11sess.run(tf.initialize_all_variables()) 12saver = tf.train.Saver() 13 14epoch=1000 15test_delay=100 16batch_size=1000 17 18array_num=int(epoch/test_delay)+3 19train_accuracy=[0 for i in range(array_num)] 20accuracy=[0 for i in range(array_num)] 21train_accuracy[0] = 0 22 23#学習前のaccuracy(変数をすべてランダムで決定) 24accuracy[0] = test(x, y_, logits, test_im, test_dire) 25print("train_Accuracy[%f],Accuracy[%f]" % (train_accuracy[0],accuracy[0])) 26 27#トレーニング開始 28for i in range(epoch+1): 29 im_batch,dire_batch = next_batch(batch_size, train_im, train_dire) 30 sess.run(train_step,feed_dict={x: im_batch, y_: dire_batch}) 31 if i % test_delay == 0: 32 #学習に使用したデータでaccuracy算出 33 train_accuracy[int(i/test_delay)+1] = test(x,y_,logits,im_batch,dire_batch) 34 num = random.randint(0, len(test_im)-batch_size-1) 35 #test用データでaccuracy算出 36 accuracy[int(i/test_delay)+1] = test(x,y_,logits,test_im[num:num+batch_size],test_dire[num:num+batch_size]) 37 38 print("Train Step:[%d],train_Accuracy[%f],Accuracy[%f]" % (i, train_accuracy[int(i/test_delay)+1],accuracy[int(i/test_delay)+1])) 39 40#トレーニング終了 41train_accuracy[int(epoch/test_delay)+2] = test(x, y_, logits,im_batch , dire_batch) 42accuracy[int(epoch/test_delay)+2] = test(x, y_, logits, test_im, test_dire) 43print("train_Accuracy[%f],Accuracy[%f]" % (train_accuracy[int(epoch/test_delay)+2],accuracy[int(epoch/test_delay)+2])) 44 45ver="y_12_test" 46cwd="/.../"+ver 47saver.save(sess , cwd + "/"+ver+"model") 48 49#この後に他に用意されたデータでtestを行っています 50 51###########################異なるファイルにおいて########################## 52 53#モデルの形、損失関数、勾配法などの定義の後 54 55x = tf.placeholder(tf.float32, shape=[None, C_input_size]) 56y_ = tf.placeholder(tf.float32, shape=[None, output_size]) 57 58logits = inference(x) 59cross_entropy = loss(logits, y_) 60train_step = training(cross_entropy) 61 62saver = tf.train.Saver() 63sess= tf.InteractiveSession() 64sess.run(tf.global_variables_initializer()) 65 66ver="y_12_test" 67cwd="/.../"+ver 68 69saver.restore(sess,cwd + "/"+ver+"model") 70 71#この後に保存時に使用した同じデータでtestを行うと違う結果となります。

試したこと

tf.train.import_meta_graph()をするべきと書かれているのを見つけ、行いましたが変化はありませんでした。

補足情報(FW/ツールのバージョンなど)

Google Colaboratory
TensorFlow ver 1.15(colaboratoryのデフォルト)
python3

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

UserWarning: An interactive session is already active. This can cause out-of-memory errors in some cases. You must explicitly call InteractiveSession.close() to release resources held by the other session(s).

「対話中のセッションは、すでに有効です。これは、アウトオブメモリーエラーを引き起こすことがあります。あなたは、他のセッションで、明確に 'InteractiveSession.close()' を呼び出して、リソースを解放しなければなりません。」
このメッセージが出る、あなたのコードでの行を、ステップ実行で特定して下さい。Jupyter Notebookなら、一旦全ての内容をメモ帳などに写し、1行ずつコピペして実行して下さい。Google Colaboratoryというのが完全にリモートに投げるものなら、ローカルにデバッグ環境を作りましょう。

投稿2020/01/25 23:28

Q71

総合スコア995

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sora16ink

2020/01/27 15:23

回答ありがとうございます。 Google Colaboratory(使い方はjupyterと似ています)で一行ずつ実行したところsess= tf.InteractiveSession()でwarningが出ています。一回実行したものにsess.close()をやってもこのwarningが出るというのはおかしいと思うのですが、そのファイルで初めてsess= tf.InteractiveSession()をした際にはwarningはでません。しかし、出力は異なっているので正しく復元はできていないようです。 そのため、やはりwarningは関係ないように感じます。
Q71

2020/01/28 13:54

正しく復元されていないのではなく、すでに開いているセッションへの復元はできない、ということを疑っています。セッションを利用中なので、利用中のメモリ内容を書き換えない、ということではないでしょうか。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問