質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.50%

  • Python

    11797questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    921questions

Tensorflowでのモデルの復元と予測値の表示

受付中

回答 3

投稿 編集

  • 評価
  • クリップ 2
  • VIEW 3,645

leon30

score 12

大変初歩的な質問になり恐縮です。
どなたかお分かりの方教えていただければ大変助かります。
どうかよろしくお願いいたします。

概要

<概要>
Webアプリに実装するエンジンとして、tensorflowによる予測モデルを作っています。

<前提>
ある商品を購入する際に、意思決定に影響を与える要素12個を入力データとして
商品のスペックに関わる要素1個を予測させようとしています。
これらのデータをCSVで用意し、1列目に正解のデータ、2~13列目に入力データを配列しています。

<方法>
事前に1400件のデータを用いて学習を行い、学習済みのモデルを保存。
そのモデルをサーバー上に置き、UIから送られてくるデータ(12列×1行)に対して保存済みのモデルを復元し、値を予測させるという段取りで考えています。

<問題が発生した箇所>
・保存済みのモデルの復元
・予測結果の表示

発生している問題・エラーメッセージ

保存済みのモデルが復元できません。
また予測した値そのものを表示させたいのですが、その方法がわかりません。
以下がエラーメッセージです。

load C:/Users…(モデルを保存したPATHが表示されている)
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-16-da567374871a> in <module>()
      8 last_model = ckpt.model_checkpoint_path
      9 print ("load " + last_model)
---> 10 tf.train.Saver.restore(tf.Session(), last_model)
     11 
     12 

TypeError: restore() missing 1 required positional argument: 'save_path'

該当のソースコード

import tensorflow as tf



ckpt = tf.train.get_checkpoint_state("セーブしているフォルダPATH")

last_model = ckpt.model_checkpoint_path
print ("load " + last_model)
tf.train.Saver.restore(tf.Session(), last_model)


import numpy 
new_input = numpy.loadtxt(open("新しい入力として保存されたCSV"), delimiter=",")
new_input = numpy.hsplit(raw_input, [1])

prediction = tf.argmax(tensor,1)
print("result: %g"%prediction.eval(feed_dict={score: new_input, keep_prob: 1.0}, session=sess))

保存したコード

念のため保存したファイル(復元させたい)も下記に記します。

import tensorflow as tf
import numpy



SCORE_SIZE = 12
HIDDEN_UNIT_SIZE = 70
TRAIN_DATA_SIZE = 1394

raw_input = numpy.loadtxt(open("train.csv"), delimiter=",")
[tensor, score]  = numpy.hsplit(raw_input, [1])

[tensor_train, tensor_test] = numpy.vsplit(tensor, [TRAIN_DATA_SIZE])
[score_train, score_test] = numpy.vsplit(score, [TRAIN_DATA_SIZE])

def inference(score_placeholder):
  with tf.name_scope('hidden1') as scope:
    hidden1_weight = tf.Variable(tf.truncated_normal([SCORE_SIZE, HIDDEN_UNIT_SIZE], stddev=0.1), name="hidden1_weight")
    hidden1_bias = tf.Variable(tf.constant(0.1, shape=[HIDDEN_UNIT_SIZE]), name="hidden1_bias")
    hidden1_output = tf.nn.relu(tf.matmul(score_placeholder, hidden1_weight) + hidden1_bias)
  with tf.name_scope('output') as scope:
    output_weight = tf.Variable(tf.truncated_normal([HIDDEN_UNIT_SIZE, 1], stddev=0.1), name="output_weight")
    output_bias = tf.Variable(tf.constant(0.1, shape=[1]), name="output_bias")
    output = tf.matmul(hidden1_output, output_weight) + output_bias
  return tf.nn.l2_normalize(output, 0)

def loss(output, tensor_placeholder, loss_label_placeholder):
  with tf.name_scope('loss') as scope:
    loss = tf.nn.l2_loss(output - tf.nn.l2_normalize(tensor_placeholder, 0))
    tf.summary.scalar('loss_label_placeholder', loss)
  return loss

def training(loss):
  with tf.name_scope('training') as scope:
    train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
  return train_step



with tf.Graph().as_default():
  tensor_placeholder = tf.placeholder("float", [None, 1], name="tensor_placeholder")
  score_placeholder = tf.placeholder("float", [None, SCORE_SIZE], name="score_placeholder")
  loss_label_placeholder = tf.placeholder("string", name="loss_label_placeholder")

  feed_dict_train={
    tensor_placeholder: tensor_train,
    score_placeholder: score_train,
    loss_label_placeholder: "loss_train"
  }

  feed_dict_test={
    tensor_placeholder: tensor_test,
    score_placeholder: score_test,
    loss_label_placeholder: "loss_test"
  }

  output = inference(score_placeholder)
  loss = loss(output, tensor_placeholder, loss_label_placeholder)
  training_op = training(loss)

  summary_op =  tf.summary.merge_all()

  init = tf.global_variables_initializer()

  best_loss = float("inf")

  with tf.Session() as sess:
    summary_writer = tf.summary.FileWriter('data', graph_def=sess.graph_def)
    sess.run(init)

    for step in range(10000):
      sess.run(training_op, feed_dict=feed_dict_train)
      loss_test = sess.run(loss, feed_dict=feed_dict_test)
      if loss_test < best_loss:
        best_loss = loss_test
        best_match = sess.run(output, feed_dict=feed_dict_test)
      if step % 100 == 0:
        summary_str = sess.run(summary_op, feed_dict=feed_dict_test)
        summary_str += sess.run(summary_op, feed_dict=feed_dict_train)
        summary_writer.add_summary(summary_str, step)

    print (sess.run(tf.nn.l2_normalize(tensor_placeholder, 0), feed_dict=feed_dict_test))
    print (best_match)


    saver=tf.train.Saver() 

    saver.save(sess,"保存先のPATH")

    print('Saved a model.')

    sess.close()

これに対する応答

WARNING:tensorflow:Passing a `GraphDef` to the SummaryWriter is deprecated. Pass a `Graph` object instead, such as `sess.graph`.
[[ 0.44367826]
 [ 0.35494262]
 [ 0.5324139 ]
 [ 0.62114954]
 [ 0.08873565]]
[[ 0.5225144 ]
 [ 0.37568542]
 [ 0.38035378]
 [ 0.52725464]
 [ 0.40394634]]
Saved a model.

補足情報(言語/FW/ツール等のバージョンなど)

使用しているバージョンは
Windows10
python3.5
tensorflow1.0
anaconda3
です。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

+1

モデルが復元ですが、以下のような内容を参考してください。

saver.save(sess, "./model")


上記のコードが実行されるとフォルダに以下のようなファイルが生成します。

  • checkpoint
  • model.data-00000-of-00001
  • model.index
  • model.meta

以下は復元コードです。

import tensorflow as tf

sess = tf.Session()
saver = tf.train.import_meta_graph('./model.meta');
saver.restore(sess,tf.train.latest_checkpoint('./'))

つまりモデルを指定して復元する形式です。
そのコードはエラーメッセージ状態で動作しました。
すぐUIから新しく入力されるデータについて回答します。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/06/27 17:49

    さらにご教授いただきありがとうございます。
    教えていただいたコードでエラーメッセージが変わりました…!
    下記のようなエラーとなりました。

    ```InvalidArgumentError (see above for traceback): Assign requires shapes of both tensors to match. lhs shape= [12,72] rhs shape= [12,70]
    [[Node: save/Assign_1 = Assign[T=DT_FLOAT, _class=["loc:@hidden1/hidden1_weight"], use_locking=true, validate_shape=true, _device="/job:localhost/replica:0/task:0/cpu:0"](hidden1/hidden1_weight, save/RestoreV2_1)]]
    ```

    ちなみに教えていただいたコードを追加したあとのソースコードは以下の通りです。

    ```python



    import tensorflow as tf


    import numpy
    new_input = numpy.loadtxt(open("C:/Users/YK_Member/Desktop/one_record.csv"), delimiter=",")
    new_input = numpy.hsplit(raw_input, [1])


    sess = tf.Session()
    saver = tf.train.import_meta_graph('C:/Users/YK_Member/Desktop/save_tensor/testsave.meta');
    saver.restore(sess,tf.train.latest_checkpoint('./'))



    prediction = tf.argmax(tensor,1)
    print("result: %g"%prediction.eval(feed_dict={score: new_input, keep_prob: 1.0}, session=sess))
    ```

    大変恐縮ですが引き続きのご教授何卒よろしくお願い申し上げます。



    キャンセル

0

WARNING:tensorflow:Passing a `GraphDef` to the SummaryWriter is deprecated. Pass a `Graph` object instead, such as `sess.graph`.
[[ 0.44367826]
 [ 0.35494262]
 [ 0.5324139 ]
 [ 0.62114954]
 [ 0.08873565]]
[[ 0.5225144 ]
 [ 0.37568542]
 [ 0.38035378]
 [ 0.52725464]
 [ 0.40394634]]
Saved a model.


上記の結果で0.5225144~0.40394634が予測結果になります。
これは1400件のデータの中でTRAIN_DATA_SIZE(1394)の以外のデータについての
予測結果です。
この結果を実のデータと比べると予測結果を分かることができます。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/06/27 16:05

    ご回答いただきありがとうございます。

    今回知りたい予測結果というのは、UIから新しく入力されるデータのつもりでした。
    つまり復元した後に学習済みのモデルに読ませるデータであり、ソースコード上ではnew_inputで
    定義されているものです。

    知りたいことについて、説明がわかりづらく申し訳ありませんでした。
    よろしければ引き続きご教授いただけますと幸いです。

    何卒よろしくお願いいたします。 



    キャンセル

0

>Assign requires shapes of both tensors to match.
>lhs shape= [12,72] rhs shape= [12,70]

割り当ては両方のテンソルの形状が一致する、ということを要求しています。
lhs の形状= [12,72] 
rhs の形状= [12,70]

SCORE_SIZE = 12
HIDDEN_UNIT_SIZE = 70


しっかりコードを見ていませんが、72が悪さをしているのではないでしょうか?


コメント欄に描くべきでした!散らかしてごめんなさい!

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

同じタグがついた質問を見る

  • Python

    11797questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    921questions