Tensorflow：学習モデルの復元と行列データの行数・列数の修正

Question

前提・実現したいこと

こちらの記事のソースコードを参考にNNを組んで見ました。
学習モデルを復元して、新たな入力に対して予測を行いたいのですが、その際のデータの形式に躓いています。

1,学習用csvファイル：13列×50行のデータになっており、最初の一列目に正解データが記入されています。
このようなデータ形式をとっています。（00001000のような2-13列はありません）
https://gist.github.com/sergeant-wizard/b2c548fbd3b3a01b23ca
2,学習の際には一度hpsplitを行って分割して[tensor,score]に分ける
3,50行のうち、45行を学習にあて、5行をテスト予想に分ける.
4,学習したのちに復元を行い、実践データを入れる。
*実践データは正解値を含まないので学習用から一つ列の減った12列×？行になる。
→これでエラーがでたので、実践データの一列目に０を入れて13列にして対応した。
→成功して復元可能。ユーザーの入力に対して予想したいと考えているので、１行のデータでできるようにしたい。
*実践データが１行のみの時にvsplitが使えないので、13列をを1:12にhpsplitを行って代入するも、行列の数がtensor_placeholderとcsvと対応していないみたいでエラーになります。このshapeの形を治すのに苦戦しており、お力をかしていただきたいです。

データ形式は1×13行列になっています。最初の1×1の値は学習データでは正解値が入るため、また、モデルの再利用時にinterface()関数を呼び出しているために同じデータ形式にするために0を入れています。

0,0.714285714,0.857142857,0.714285714,0.571428571,0.571428571,0.714285714,0.571428571,0.714285714,0.714285714,0.714285714,0.571428571,0.714285714

 with tf.Session() as sess2:

    #TRAIN_DATA_SIZE2 = 0 複数行CSVの時にすべて実践データにまわすために0行目を分割している
    test2 = numpy.loadtxt(open("one_record.csv"), delimiter=",") 
    [tensor2,score2]  = numpy.hsplit(test2, [1])
    #[tensor_train2,tensor_test2] = numpy.vsplit(tensor2, [TRAIN_DATA_SIZE2])
    #[score_train2, score_test2] = numpy.vsplit(score2, [TRAIN_DATA_SIZE2])
    print(tensor2)
    print(score2)
  #モデルつくり
    feed_dict_test2 = {

複数行CSVの際にはvsplitして、tensor_test2,score_test2がそれぞれtensor,scoreにはいることで計算できていました。どう直せばいいでしょうか。
   tensor_placeholder:tensor2,
    score_placeholder:score2,
    loss_label_placeholder:"loss_test2"
    }
  
    saver = tf.train.Saver()
    cwd = os.getcwd()
    saver.restore(sess2,cwd + "/model.ckpt")
    
    print("recover")
    best_match2 = sess2.run(output, feed_dict=feed_dict_test2)
    print(best_match2)
    print("fin")
    sess2.close()

**

・参考リンク
ニューラルネットワークでプロ野球選手の給与を査定してみる
http://qiita.com/sergeant-wizard/items/9bb45c0850aebca2bc07

TensorFlowでmodelを保存して復元する
http://testpy.hatenablog.com/entry/2017/02/02/000000

Tensorflow：一度学習したものの損失関数の値を保持・復元して、新たな入力に対して予測を行いたい
https://teratail.com/questions/82450

エラーコード

ValueError: Cannot feed value of shape (1,) for Tensor 'tensor_placeholder:0', which has shape '(?, 1)'

import tensorflow as tf
import numpy
import os

cwd = os.getcwd()

SCORE_SIZE = 12
HIDDEN_UNIT_SIZE = 70
TRAIN_DATA_SIZE = 45

raw_input = numpy.loadtxt(open("test.csv"), delimiter=",")
[tensor, score]  = numpy.hsplit(raw_input, [1])
[tensor_train, tensor_test] = numpy.vsplit(tensor, [TRAIN_DATA_SIZE])
[score_train, score_test] = numpy.vsplit(score, [TRAIN_DATA_SIZE])
#tensorは正解データtrainは学習モデル、scoreは学習データ、testは実データ

def inference(score_placeholder):
  with tf.name_scope('hidden1') as scope:
    hidden1_weight = tf.Variable(tf.truncated_normal([SCORE_SIZE, HIDDEN_UNIT_SIZE], stddev=0.1), name="hidden1_weight")
    hidden1_bias = tf.Variable(tf.constant(0.1, shape=[HIDDEN_UNIT_SIZE]), name="hidden1_bias")
    hidden1_output = tf.nn.relu(tf.matmul(score_placeholder, hidden1_weight) + hidden1_bias)
  with tf.name_scope('output') as scope:
    output_weight = tf.Variable(tf.truncated_normal([HIDDEN_UNIT_SIZE, 1], stddev=0.1), name="output_weight")
    output_bias = tf.Variable(tf.constant(0.1, shape=[1]), name="output_bias")
    output = tf.matmul(hidden1_output, output_weight) + output_bias
    print(output)
  return tf.nn.l2_normalize(output, 0)

def loss(output, tensor_placeholder, loss_label_placeholder):
  with tf.name_scope('loss') as scope:
    loss = tf.nn.l2_loss(output - tf.nn.l2_normalize(tensor_placeholder, 0))
    tf.summary.scalar('loss_label_placeholder', loss)
  return loss

def training(loss):
  with tf.name_scope('training') as scope:
    train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
  return train_step



with tf.Graph().as_default():
  tensor_placeholder = tf.placeholder("float", [None,1], name="tensor_placeholder")
  score_placeholder = tf.placeholder("float", [None, SCORE_SIZE], name="score_placeholder")
  loss_label_placeholder = tf.placeholder("string", name="loss_label_placeholder")

  feed_dict_train={
    tensor_placeholder: tensor_train,
    score_placeholder: score_train,
    loss_label_placeholder: "loss_train"
  }
#tensorは正解データtrainは学習モデル、scoreは学習データ、testは実データ

  feed_dict_test={
    tensor_placeholder: tensor_test,
    score_placeholder: score_test,
    loss_label_placeholder: "loss_test"
  }

  output = inference(score_placeholder)
  loss = loss(output, tensor_placeholder, loss_label_placeholder)
  training_op = training(loss)
  summary_op =  tf.summary.merge_all()
  init = tf.global_variables_initializer()
  best_loss = float("inf")

  with tf.Session() as sess:
    summary_writer = tf.summary.FileWriter('data', graph_def=sess.graph_def)
    sess.run(init)
    for step in range(10000):
      sess.run(training_op, feed_dict=feed_dict_train)
      loss_test = sess.run(loss, feed_dict=feed_dict_test)
      if loss_test < best_loss:
        best_loss = loss_test
        best_match = sess.run(output, feed_dict=feed_dict_test)
      if step % 100 == 0:
        summary_str = sess.run(summary_op, feed_dict=feed_dict_test)
        summary_str += sess.run(summary_op, feed_dict=feed_dict_train)
        summary_writer.add_summary(summary_str, step)
    
    saver=tf.train.Saver()   
    saver.save(sess,cwd+'/model.ckpt')
    print(cwd)
    print(best_match)  
    print('Saved a model.')
    sess.close()

  with tf.Session() as sess2:
  #変数の読み込み
  #新しいデータ
    TRAIN_DATA_SIZE2 = 0
    test2 = numpy.loadtxt(open("one_record.csv"), delimiter=",") 
    [tensor2,score2]  = numpy.hsplit(test2, [1])
    #[tensor_train2,tensor_test2] = numpy.vsplit(tensor2, [TRAIN_DATA_SIZE2])
    #[score_train2, score_test2] = numpy.vsplit(score2, [TRAIN_DATA_SIZE2])
#tensorは正解データtrainは学習モデル、scoreは学習データ、testは実データ
    print(tensor2)
    print(score2)
  #モデルつくり
    feed_dict_test2 = {
    tensor_placeholder:tensor2,
    score_placeholder:score2,
    loss_label_placeholder:"loss_test2"
    }
  #復元して、損失関数で定まった、重みをもとに予想を行う関数にいれる
    saver = tf.train.Saver()
    cwd = os.getcwd()
    saver.restore(sess2,cwd + "/model.ckpt")
    
    print("recover")
    best_match2 = sess2.run(output, feed_dict=feed_dict_test2)
    print(best_match2)
    print("fin")
    sess2.close()

Answer 1

おそらく、という回答でもうしわけないのですが、、、

tensor2 と score2 の ndarray を expand_dims してください。

test2 = numpy.loadtxt(open("one_record.csv"), delimiter=",") 
    [tensor2,score2]  = numpy.hsplit(test2, [1])
    #[tensor_train2,tensor_test2] = numpy.vsplit(tensor2, [TRAIN_DATA_SIZE2])
    #[score_train2, score_test2] = numpy.vsplit(score2, [TRAIN_DATA_SIZE2])
print(tensor2.shape)
print(score2.shape)
tensor2 = np.expand_dims(tensor2, axis=0)
score2  = np.expand_dims(score2, axis=0)
print(tensor2.shape)
print(score2.shape)

expand_dims()する前の shape は (1,) となっていると予想します。
tensorflow は (?, 1) を要求していますから、 (1, 1) にしないといけません。

Comments

[zakio49]

shapeの成型についてはうまくいったのですが、これで実行すると予想値がほぼ１になってしまって、interface()が保存したモデルを使って予想していないように見えます、どうしてかわかりますかね・・・？質問外のことで心苦しいですがお答えいただけばと思います。

[MasashiKimura]

何を学習したのか、や、データの構造、そもそも収束しているのかなど、いろいろわからないことがあります。
おくそくでいいなら、 回答できます。
output は、　tf.nn.l2_normalize(output, 0)　を求めていますね。これだと、 output/sqrt(sum(output^2)) を計算します。 outputが1次元の場合、ほとんどのケースで１になるとおもいます。
tf.argmax(output) とかではないでしょうか？

[MasashiKimura]

やはり、もう少し情報がないとわからないですね

[zakio49]

丁寧な回答していただきありがとうございました。ブログ拝謁させていただいています。