tensorflowのモデル復元における初期化について

Question

###概要

＜概要＞
Webアプリに実装するエンジンとして、tensorflowによる予測モデルを作っています。

＜前提＞
ある商品を購入する際に、意思決定に影響を与える要素12個を入力データとして
商品のスペックに関わる要素1個を予測させようとしています。
これらのデータをCSVで用意し、1列目に正解のデータ、2～13列目に入力データを配列しています。

＜方法＞
事前に1400件のデータを用いて学習を行い、学習済みのモデルを保存。
そのモデルをサーバー上に置き、UIから送られてくるデータ(12列×1行)に対して保存済みのモデルを復元し、値を予測させるという段取りで考えています。

＜問題が発生した箇所＞
・予測結果の表示
・復元も出来ているか怪しい…

###発生している問題・エラーメッセージ

初期化されていない変数を使用しようとしているとのエラーが出ます。
事前の学習で得た重みを復元したモデルで利用したいのでリストアしているので
どうすれば初期化していない変数を利用できるのでしょうか？
また復元したモデルで予測結果を表示するということはそもそも無理なのでしょうか。

エラーメッセージはこちら↓

FailedPreconditionError (see above for traceback): Attempting to use uninitialized value output_bias_7
	 [[Node: output_bias_7/read = Identity[T=DT_FLOAT, _class=["loc:@output_bias_7"], _device="/job:localhost/replica:0/task:0/cpu:0"](output_bias_7)]]

実行したソースコードはこちらです。

import tensorflow as tf


SCORE_SIZE = 12
HIDDEN_UNIT_SIZE = 70
TRAIN_DATA_SIZE = 1

sess = tf.Session()
ckpt = tf.train.get_checkpoint_state("C:/Users/Member/Desktop/save_tensor")
print(ckpt)

last_model = "C:/Users/Member/Desktop/save_tensor/testsave"
saver = tf.train.import_meta_graph('C:/Users/Member/Desktop/save_tensor/testsave.meta')
print ("load " + last_model)
saver.restore(sess, last_model)

score_placeholder = tf.placeholder("float", [None, SCORE_SIZE], name="score_placeholder")
hidden1_weight = tf.Variable(tf.truncated_normal([SCORE_SIZE, HIDDEN_UNIT_SIZE], stddev=0.1), name="hidden1_weight")
hidden1_bias = tf.Variable(tf.constant(0.1, shape=[HIDDEN_UNIT_SIZE]), name="hidden1_bias")

hidden1_output = tf.nn.relu(tf.matmul(score_placeholder, hidden1_weight) + hidden1_bias)

output_weight = tf.Variable(tf.truncated_normal([HIDDEN_UNIT_SIZE, 1], stddev=0.1), name="output_weight")
output_bias = tf.Variable(tf.constant(0.1, shape=[1]), name="output_bias")

output = tf.matmul(hidden1_output, output_weight) + output_bias


print(hidden1_output)

import numpy

raw_input = numpy.loadtxt(open("C:/Users/Member/Desktop/onerecord2.csv"), delimiter=",")


[tensor,score]=numpy.hsplit(raw_input, [None])



print(tensor)

print(score_placeholder)

print(raw_input)

best=sess.run(output,feed_dict={score_placeholder:raw_input})

print(best)

###全体のソースコード

学習を行いモデルを保存するまで

import tensorflow as tf
import numpy



SCORE_SIZE = 12
HIDDEN_UNIT_SIZE = 70
TRAIN_DATA_SIZE = 1395

raw_input = numpy.loadtxt(open("C:/Users/Member/Desktop/traindata.csv"), delimiter=",")
[tensor, score]  = numpy.hsplit(raw_input, [1])

[tensor_train, tensor_test] = numpy.vsplit(tensor, [TRAIN_DATA_SIZE])
[score_train, score_test] = numpy.vsplit(score, [TRAIN_DATA_SIZE])

def inference(score_placeholder):
  with tf.name_scope('hidden1') as scope:
    hidden1_weight = tf.Variable(tf.truncated_normal([SCORE_SIZE, HIDDEN_UNIT_SIZE], stddev=0.1), name="hidden1_weight")
    hidden1_bias = tf.Variable(tf.constant(0.1, shape=[HIDDEN_UNIT_SIZE]), name="hidden1_bias")
    hidden1_output = tf.nn.relu(tf.matmul(score_placeholder, hidden1_weight) + hidden1_bias)
  with tf.name_scope('output') as scope:
    output_weight = tf.Variable(tf.truncated_normal([HIDDEN_UNIT_SIZE, 1], stddev=0.1), name="output_weight")
    output_bias = tf.Variable(tf.constant(0.1, shape=[1]), name="output_bias")
    output = tf.matmul(hidden1_output, output_weight) + output_bias
  return tf.nn.l2_normalize(output, 0)

def loss(output, tensor_placeholder, loss_label_placeholder):
  with tf.name_scope('loss') as scope:
    loss = tf.nn.l2_loss(output - tf.nn.l2_normalize(tensor_placeholder, 0))
    tf.summary.scalar('loss_label_placeholder', loss)
  return loss

def training(loss):
  with tf.name_scope('training') as scope:
    train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
  return train_step



with tf.Graph().as_default():
  tensor_placeholder = tf.placeholder("float", [None, 1], name="tensor_placeholder")
  score_placeholder = tf.placeholder("float", [None, SCORE_SIZE], name="score_placeholder")
  loss_label_placeholder = tf.placeholder("string", name="loss_label_placeholder")

  feed_dict_train={
    tensor_placeholder: tensor_train,
    score_placeholder: score_train,
    loss_label_placeholder: "loss_train"
  }

  feed_dict_test={
    tensor_placeholder: tensor_test,
    score_placeholder: score_test,
    loss_label_placeholder: "loss_test"
  }

  output = inference(score_placeholder)
  loss = loss(output, tensor_placeholder, loss_label_placeholder)
  training_op = training(loss)

  summary_op =  tf.summary.merge_all()

  init = tf.global_variables_initializer()

  best_loss = float("inf")

  with tf.Session() as sess:
    summary_writer = tf.summary.FileWriter('data', graph_def=sess.graph_def)
    sess.run(init)

    for step in range(10000):
      sess.run(training_op, feed_dict=feed_dict_train)
      loss_test = sess.run(loss, feed_dict=feed_dict_test)
      if loss_test < best_loss:
        best_loss = loss_test
        best_match = sess.run(output, feed_dict=feed_dict_test)
      if step % 100 == 0:
        summary_str = sess.run(summary_op, feed_dict=feed_dict_test)
        summary_str += sess.run(summary_op, feed_dict=feed_dict_train)
        summary_writer.add_summary(summary_str, step)

    print (sess.run(tf.nn.l2_normalize(tensor_placeholder, 0), feed_dict=feed_dict_test))
    print (best_match)
    
    
    saver=tf.train.Saver() 
    
    saver.save(sess,"C:/Users/Member/Desktop/save_tensor/testsave")
   
    print('Saved a model.')

    sess.close()

###開発環境
Windows10
python3.5
Anaconda3
Tensorflow1.0

Comments

[quickquip]

再現実験や課題の類で「このモデルと初期値で問題が解ける」と分かっていて実装しているんでしょうか? データや正解に負値はあるんでしょうか? 与えられている正解データは「正解」なのでしょうか? 過去の「実績」なのでしょうか? 損失関数の下がり具合は確認していますか? 気になったのはこのあたりでした。

Answer 1

restoreしたあとに variable を宣言しているからですね。逆にしたら動くかも。
もしくは、meta ファイルも読んでください。