質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.38%

  • Python

    12856questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    994questions

Tensorflowの復元した2回目のsessionでnomarizeを行わないif~elseの分岐ができていないです。

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 651

zakio49

score 21

Tensorflowの2回目のsessionでnomarizeを行わないif~elseの分岐ができていない。

45個のデータを学習して、restoreを行って新しいsessionの中で1個分の実践データを吐き出すプログラムを作っています。

2個分の実践データを予想する際には出力値が0.~~と正解データに近い値がでるのですが、1個分の実践データを読み込ませると常に結果が1になりました。

・Tensorflowの正規化の定義式がxの値が一つだと1になるので自明であることは理解しました。
間違った認識:||X||p=(|X1|^p+|X2|^2+・・・・|Xn|^p)^1/pと
正しい式:= x / (max(Σ(x**2)^1/2

【機械学習】LPノルムってなんだっけ?

行いたい実装

二回目のrestoreした後のセッションに関してはreturnする値をnomarizeしないで、復元された重みとバイアスを一行CSVデータと行列計算したものをreturnとして返したいのでif~else文で分岐させたのですが、出力値は以前として1のままです
以下が問題だと思っています

問題だと思っている点

・今のコードではTACKという変数を用いて、nomarizeしてruturnするか、しないでreturnするかを担わせています。

 if TACK == 1:
    print("saku1")
    print(output)
    return output
  else :
    print("saku2")
    return tf.nn.l2_normalize(output, 0)


session2の中でTACKを初期値0→1に変えたので、sess2を実行すれば、

best_match2 = sess2.run(output, feed_dict={score_placeholder:[test2]})


outputが実行される時にinference()関数を実行を行い、TACK == 1のほうが実行されて1ではない値が出力として出てくると考えています。

この認識に誤りがあると考えています。
inference関数はNNの入力層―隠れ層―出力層を辿って計算結果を出力する関数ですが
tf.Graphを作る過程でinference関数の返り値のみをoutputに引き継いで

output = inference(score_placeholder)
・
・
・
・
・
best_match2 = sess2.run(output, feed_dict={score_placeholder:[test2]}) 


sess2で実行しているのでsess2.run()が行われた際にはscore_placeholder:[test2]を用いてinferenceを実行してその返り値を返しているのか、はたまた、tfの独自の処理が動いているのか、時にどうしてTACKの値が反映されてif~else文の分岐が成功していないのかを知りたいです。inferenceの引数にTACKの値を持たせて分岐などさせるのか、scopeとかの話なのでしょうかで困惑しています。

助けれいただければ嬉しいです。
長くなってしまいましたがお答えしていただけるとありがたいです。

def inference(score_placeholder):
  with tf.name_scope('hidden1') as scope:
    hidden1_weight = tf.Variable(tf.truncated_normal([SCORE_SIZE, HIDDEN_UNIT_SIZE], stddev=0.01), name="hidden1_weight")
    hidden1_bias = tf.Variable(tf.constant(0.1, shape=[HIDDEN_UNIT_SIZE]), name="hidden1_bias")
    hidden1_output = tf.nn.relu(tf.matmul(score_placeholder, hidden1_weight) + hidden1_bias)
  with tf.name_scope('output') as scope:
    output_weight = tf.Variable(tf.truncated_normal([HIDDEN_UNIT_SIZE, 1], stddev=0.01), name="output_weight")
    output_bias = tf.Variable(tf.constant(0.1, shape=[1]), name="output_bias")
    output = tf.matmul(hidden1_output, output_weight) + output_bias
  if TACK == 1:
    print("saku1")
    print(output)
    return output
  else :
    print("saku2")
    return tf.nn.l2_normalize(output, 0)

ソースコード全文

import tensorflow as tf
import numpy
import os

cwd = os.getcwd()

SCORE_SIZE = 12
HIDDEN_UNIT_SIZE = 40
TRAIN_DATA_SIZE = 45
TACK = 0
raw_input = numpy.loadtxt(open("test.csv"), delimiter=",")
[tensor, score]  = numpy.hsplit(raw_input, [1])
[tensor_train, tensor_test] = numpy.vsplit(tensor, [TRAIN_DATA_SIZE])
[score_train, score_test] = numpy.vsplit(score, [TRAIN_DATA_SIZE])
#tensorは正解データtrainは学習モデル、scoreは学習データ、testは実データ

def inference(score_placeholder):
  with tf.name_scope('hidden1') as scope:
    hidden1_weight = tf.Variable(tf.truncated_normal([SCORE_SIZE, HIDDEN_UNIT_SIZE], stddev=0.01), name="hidden1_weight")
    hidden1_bias = tf.Variable(tf.constant(0.1, shape=[HIDDEN_UNIT_SIZE]), name="hidden1_bias")
    hidden1_output = tf.nn.relu(tf.matmul(score_placeholder, hidden1_weight) + hidden1_bias)
  with tf.name_scope('output') as scope:
    output_weight = tf.Variable(tf.truncated_normal([HIDDEN_UNIT_SIZE, 1], stddev=0.01), name="output_weight")
    output_bias = tf.Variable(tf.constant(0.1, shape=[1]), name="output_bias")
    output = tf.matmul(hidden1_output, output_weight) + output_bias
#一回目は正規化を行う  。
if TACK == 1:
    print("saku1")
    print(output)
    return output
#二回目は正規化を行うと1になるので行わない。
  else :
    print("saku2")
    return tf.nn.l2_normalize(output, 0)

def loss(output, tensor_placeholder, loss_label_placeholder):
  with tf.name_scope('loss') as scope:
    loss = tf.nn.l2_loss(output - tf.nn.l2_normalize(tensor_placeholder, 0))
    tf.summary.scalar('loss_label_placeholder', loss)
  return loss

def training(loss):
  with tf.name_scope('training') as scope:
    train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
  return train_step



with tf.Graph().as_default():
  tensor_placeholder = tf.placeholder(tf.float32, [None, 1], name="tensor_placeholder")
  score_placeholder = tf.placeholder(tf.float32, [None, SCORE_SIZE], name="score_placeholder")
  loss_label_placeholder = tf.placeholder("string", name="loss_label_placeholder")

  feed_dict_train={
    tensor_placeholder: tensor_train,
    score_placeholder: score_train,
    loss_label_placeholder: "loss_train"
  }

  feed_dict_test={
    tensor_placeholder: tensor_test,
    score_placeholder: score_test,
    loss_label_placeholder: "loss_test"
  }

  output = inference(score_placeholder)
  loss = loss(output, tensor_placeholder, loss_label_placeholder)
  training_op = training(loss)
  summary_op =  tf.summary.merge_all()
  init = tf.global_variables_initializer()
  best_loss = float("inf")

  with tf.Session() as sess:
    summary_writer = tf.summary.FileWriter('data', graph_def=sess.graph_def)
    sess.run(init)
    for step in range(10000):
      sess.run(training_op, feed_dict=feed_dict_train)
      loss_test = sess.run(loss, feed_dict=feed_dict_test)
      if loss_test < best_loss:
        best_loss = loss_test
        best_match = sess.run(output, feed_dict=feed_dict_test)
      #if step % 100 == 0:
      #  summary_str = sess.run(summary_op, feed_dict=feed_dict_test)
      #  summary_str += sess.run(summary_op, feed_dict=feed_dict_train)
      #  summary_writer.add_summary(summary_str, step)

    saver=tf.train.Saver()
    saver.save(sess,cwd+'/model.ckpt')
    print(cwd)
    print(best_match)
    print('Saved a model.')
    sess.close()

  with tf.Session() as sess2:
  #変数の読み込み
    summary_writer = tf.summary.FileWriter('data', graph=sess2.graph)
    #sess2.run(init)
  #新しいデータ
    TRAIN_DATA_SIZE2 = 0
    test2 = numpy.loadtxt(open("one_data.csv"), delimiter=",").astype(numpy.float32)
    print(TACK)
    saver = tf.train.Saver()
    cwd = os.getcwd()
    saver.restore(sess2,cwd + "/model.ckpt")
    TACK = 1
    #best_match2 = sess2.run(inference(score3))
    best_match2 = sess2.run(output, feed_dict={score_placeholder:[test2]})
    print(best_match2)
    print("fin")
    sess2.close()
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

0

TACK = 1
output2 = inference(score_placeholder)
best_match2 = sess2.run(output2, feed_dict={score_placeholder:[test2]})

`
です。

「sesssion を実行するときに inference()実行される」という認識を持っておられるのかもしれません。それは違います。あくまで関数自体が実行されるのは普通のPythonプログラムと同じで呼ばれている位置です。

session.run() で実行してるのは、関数ではなく計算グラフです。

TACK を 0にする
infefenre(score_placeholder) で計算グラフをつくる
作った計算グラフを output という名前で保存(この計算グラフはTACK=0で作ったもの)
sess.run(output,...) で計算グラフ output を実行
TACK を 1 にする
inference(score_placeholder) で計算グラフを作りなおす
作った計算グラフを output2 とする
sess2.run(output2, ...) で計算グラフ output2 を実行 (これはTACK=1でつくったもの)
となるわです。

Masashi Kimura さんからの回答(二重投稿してしまったのでこちらに保存ように掲載させていただきます。)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.38%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る

  • Python

    12856questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    994questions