質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.51%

  • Python

    11700questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    919questions

  • NumPy

    641questions

    NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Tensorflow:学習モデルの復元と行列データの行数・列数の修正

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 1,183

zakio49

score 21

前提・実現したいこと

こちらの記事のソースコードを参考にNNを組んで見ました。
学習モデルを復元して、新たな入力に対して予測を行いたいのですが、その際のデータの形式に躓いています。

1,学習用csvファイル:13列×50行のデータになっており、最初の一列目に正解データが記入されています。
このようなデータ形式をとっています。(00001000のような2-13列はありません)
https://gist.github.com/sergeant-wizard/b2c548fbd3b3a01b23ca
2,学習の際には一度hpsplitを行って分割して[tensor,score]に分ける
3,50行のうち、45行を学習にあて、5行をテスト予想に分ける.
4,学習したのちに復元を行い、実践データを入れる。
*実践データは正解値を含まないので学習用から一つ列の減った12列×?行になる。
→これでエラーがでたので、実践データの一列目に0を入れて13列にして対応した。
→成功して復元可能。ユーザーの入力に対して予想したいと考えているので、1行のデータでできるようにしたい。
*実践データが1行のみの時にvsplitが使えないので、13列をを1:12にhpsplitを行って代入するも、行列の数がtensor_placeholderとcsvと対応していないみたいでエラーになります。このshapeの形を治すのに苦戦しており、お力をかしていただきたいです。

データ形式は1×13行列になっています。最初の1×1の値は学習データでは正解値が入るため、また、モデルの再利用時にinterface()関数を呼び出しているために同じデータ形式にするために0を入れています。

0,0.714285714,0.857142857,0.714285714,0.571428571,0.571428571,0.714285714,0.571428571,0.714285714,0.714285714,0.714285714,0.571428571,0.714285714

`

 with tf.Session() as sess2:

    #TRAIN_DATA_SIZE2 = 0 複数行CSVの時にすべて実践データにまわすために0行目を分割している
    test2 = numpy.loadtxt(open("one_record.csv"), delimiter=",") 
    [tensor2,score2]  = numpy.hsplit(test2, [1])
    #[tensor_train2,tensor_test2] = numpy.vsplit(tensor2, [TRAIN_DATA_SIZE2])
    #[score_train2, score_test2] = numpy.vsplit(score2, [TRAIN_DATA_SIZE2])
    print(tensor2)
    print(score2)
  #モデルつくり
    feed_dict_test2 = {

複数行CSVの際にはvsplitして、tensor_test2,score_test2がそれぞれtensor,scoreにはいることで計算できていました。どう直せばいいでしょうか。
   tensor_placeholder:tensor2,
    score_placeholder:score2,
    loss_label_placeholder:"loss_test2"
    }

    saver = tf.train.Saver()
    cwd = os.getcwd()
    saver.restore(sess2,cwd + "/model.ckpt")

    print("recover")
    best_match2 = sess2.run(output, feed_dict=feed_dict_test2)
    print(best_match2)
    print("fin")
    sess2.close()

`

**

・参考リンク ニューラルネットワークでプロ野球選手の給与を査定してみる http://qiita.com/sergeant-wizard/items/9bb45c0850aebca2bc07

TensorFlowでmodelを保存して復元する http://testpy.hatenablog.com/entry/2017/02/02/000000

Tensorflow:一度学習したものの損失関数の値を保持・復元して、新たな入力に対して予測を行いたい https://teratail.com/questions/82450

エラーコード

ValueError: Cannot feed value of shape (1,) for Tensor 'tensor_placeholder:0', which has shape '(?, 1)'

`

import tensorflow as tf
import numpy
import os

cwd = os.getcwd()

SCORE_SIZE = 12
HIDDEN_UNIT_SIZE = 70
TRAIN_DATA_SIZE = 45

raw_input = numpy.loadtxt(open("test.csv"), delimiter=",")
[tensor, score]  = numpy.hsplit(raw_input, [1])
[tensor_train, tensor_test] = numpy.vsplit(tensor, [TRAIN_DATA_SIZE])
[score_train, score_test] = numpy.vsplit(score, [TRAIN_DATA_SIZE])
#tensorは正解データtrainは学習モデル、scoreは学習データ、testは実データ

def inference(score_placeholder):
  with tf.name_scope('hidden1') as scope:
    hidden1_weight = tf.Variable(tf.truncated_normal([SCORE_SIZE, HIDDEN_UNIT_SIZE], stddev=0.1), name="hidden1_weight")
    hidden1_bias = tf.Variable(tf.constant(0.1, shape=[HIDDEN_UNIT_SIZE]), name="hidden1_bias")
    hidden1_output = tf.nn.relu(tf.matmul(score_placeholder, hidden1_weight) + hidden1_bias)
  with tf.name_scope('output') as scope:
    output_weight = tf.Variable(tf.truncated_normal([HIDDEN_UNIT_SIZE, 1], stddev=0.1), name="output_weight")
    output_bias = tf.Variable(tf.constant(0.1, shape=[1]), name="output_bias")
    output = tf.matmul(hidden1_output, output_weight) + output_bias
    print(output)
  return tf.nn.l2_normalize(output, 0)

def loss(output, tensor_placeholder, loss_label_placeholder):
  with tf.name_scope('loss') as scope:
    loss = tf.nn.l2_loss(output - tf.nn.l2_normalize(tensor_placeholder, 0))
    tf.summary.scalar('loss_label_placeholder', loss)
  return loss

def training(loss):
  with tf.name_scope('training') as scope:
    train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
  return train_step



with tf.Graph().as_default():
  tensor_placeholder = tf.placeholder("float", [None,1], name="tensor_placeholder")
  score_placeholder = tf.placeholder("float", [None, SCORE_SIZE], name="score_placeholder")
  loss_label_placeholder = tf.placeholder("string", name="loss_label_placeholder")

  feed_dict_train={
    tensor_placeholder: tensor_train,
    score_placeholder: score_train,
    loss_label_placeholder: "loss_train"
  }
#tensorは正解データtrainは学習モデル、scoreは学習データ、testは実データ

  feed_dict_test={
    tensor_placeholder: tensor_test,
    score_placeholder: score_test,
    loss_label_placeholder: "loss_test"
  }

  output = inference(score_placeholder)
  loss = loss(output, tensor_placeholder, loss_label_placeholder)
  training_op = training(loss)
  summary_op =  tf.summary.merge_all()
  init = tf.global_variables_initializer()
  best_loss = float("inf")

  with tf.Session() as sess:
    summary_writer = tf.summary.FileWriter('data', graph_def=sess.graph_def)
    sess.run(init)
    for step in range(10000):
      sess.run(training_op, feed_dict=feed_dict_train)
      loss_test = sess.run(loss, feed_dict=feed_dict_test)
      if loss_test < best_loss:
        best_loss = loss_test
        best_match = sess.run(output, feed_dict=feed_dict_test)
      if step % 100 == 0:
        summary_str = sess.run(summary_op, feed_dict=feed_dict_test)
        summary_str += sess.run(summary_op, feed_dict=feed_dict_train)
        summary_writer.add_summary(summary_str, step)

    saver=tf.train.Saver()   
    saver.save(sess,cwd+'/model.ckpt')
    print(cwd)
    print(best_match)  
    print('Saved a model.')
    sess.close()

  with tf.Session() as sess2:
  #変数の読み込み
  #新しいデータ
    TRAIN_DATA_SIZE2 = 0
    test2 = numpy.loadtxt(open("one_record.csv"), delimiter=",") 
    [tensor2,score2]  = numpy.hsplit(test2, [1])
    #[tensor_train2,tensor_test2] = numpy.vsplit(tensor2, [TRAIN_DATA_SIZE2])
    #[score_train2, score_test2] = numpy.vsplit(score2, [TRAIN_DATA_SIZE2])
#tensorは正解データtrainは学習モデル、scoreは学習データ、testは実データ
    print(tensor2)
    print(score2)
  #モデルつくり
    feed_dict_test2 = {
    tensor_placeholder:tensor2,
    score_placeholder:score2,
    loss_label_placeholder:"loss_test2"
    }
  #復元して、損失関数で定まった、重みをもとに予想を行う関数にいれる
    saver = tf.train.Saver()
    cwd = os.getcwd()
    saver.restore(sess2,cwd + "/model.ckpt")

    print("recover")
    best_match2 = sess2.run(output, feed_dict=feed_dict_test2)
    print(best_match2)
    print("fin")
    sess2.close()

`

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

おそらく、という回答でもうしわけないのですが、、、

tensor2 と score2 の ndarray を expand_dims してください。

test2 = numpy.loadtxt(open("one_record.csv"), delimiter=",") 
    [tensor2,score2]  = numpy.hsplit(test2, [1])
    #[tensor_train2,tensor_test2] = numpy.vsplit(tensor2, [TRAIN_DATA_SIZE2])
    #[score_train2, score_test2] = numpy.vsplit(score2, [TRAIN_DATA_SIZE2])
print(tensor2.shape)
print(score2.shape)
tensor2 = np.expand_dims(tensor2, axis=0)
score2  = np.expand_dims(score2, axis=0)
print(tensor2.shape)
print(score2.shape)

expand_dims()する前の shape は (1,) となっていると予想します。
tensorflow は (?, 1) を要求していますから、 (1, 1) にしないといけません。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/07/02 17:56

    shapeの成型についてはうまくいったのですが、これで実行すると予想値がほぼ1になってしまって、interface()が保存したモデルを使って予想していないように見えます、どうしてかわかりますかね・・・?質問外のことで心苦しいですがお答えいただけばと思います。

    キャンセル

  • 2017/07/02 18:07 編集

    何を学習したのか、や、データの構造、そもそも収束しているのかなど、いろいろわからないことがあります。
    おくそくでいいなら、 回答できます。
    output は、 tf.nn.l2_normalize(output, 0) を求めていますね。これだと、 output/sqrt(sum(output^2)) を計算します。 outputが1次元の場合、ほとんどのケースで1になるとおもいます。
    tf.argmax(output) とかではないでしょうか?

    キャンセル

  • 2017/07/02 18:11

    やはり、もう少し情報がないとわからないですね

    キャンセル

  • 2017/07/12 11:36

    丁寧な回答していただきありがとうございました。ブログ拝謁させていただいています。

    キャンセル

同じタグがついた質問を見る

  • Python

    11700questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    919questions

  • NumPy

    641questions

    NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。