質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.82%

tensorflowでadamを用いて最適化を行う部分を関数にしたいけれど上手い方法がわかりません。

受付中

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 2,293

abea

score 30

def optimization(cross_entropy):

    trainable = tf.all_variables()
    optimizer = tf.train.AdamOptimizer(learning_rate=0.00001)
    grads = tf.gradients(cross_entropy, trainables)
    grads, _ = tf.clip_by_global_norm(grads,clip_norm=5)
    grad_var_pairs = zip(grads, trainables)
    gc_optimizer = optimizer.apply_gradients(grad_var_pairs)

    return gc_optimizer 


上のように最適化を行う関数を作成し、

with tf.Session() as sess:
    ・
    ・
    ・
    gc_optimizer = optimization(cross_entropy)
    sess.run(gc_optimizer,feed_dict=feed_dict)


のように、任意のロスcross_entropyについて関数を呼び出し最適化をおこないたいのですが、以下のようなエラーが出てしまいます。

FailedPreconditionError (see above for traceback): Attempting to use uninitialized value beta1_power
[[Node: beta1_power/read = Identity[T=DT_FLOAT, _class=["loc:@Variable"], _device="/job:localhost/replica:0/task:0/gpu:0"](beta1_power)]]
[[Node: bidirectional_rnn/fw/fw/stack/_93 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/cpu:0", send_device="/job:localhost/replica:0/task:0/gpu:0", send_device_incarnation=1, tensor_name="edge_1563_bidirectional_rnn/fw/fw/stack", tensor_type=DT_INT32, _device="/job:localhost/replica:0/task:0/cpu:0"]()]]

どうやらadamのパラメータが初期化できていないのが問題のようですが、これを解決する方法を教えてくださると助かります。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • mkgrei

    2018/04/04 22:30

    変数を初期化していない、というエラーに見えますが…sess.run(tf.global_variables_initializer())していますか?

    キャンセル

  • abea

    2018/04/04 23:01

    それはwith tf.Session() as sessの中の最初の行で行っています。

    キャンセル

  • mkgrei

    2018/04/04 23:05

    gc_optimizer = optimization(cross_entropy)のあとに初期化しても同様のエラーが出ますか?

    キャンセル

回答 1

+1

https://github.com/tensorflow/tensorflow/issues/8057

https://stackoverflow.com/questions/44706150/tensorflow-seq2seq-training-time-per-minibatch-monotonically-increases

これですね。

Optimizerを追加した後に変数が追加されるので、その後に初期化をコールする必要があります。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/04/05 12:46

    gc_optimizer = optimization(cross_entropy)
    のあとにsess.run(tf.initialize_variables(set(tf.global_variablet())))を行なったのですが、

    FailedPreconditionError (see above for traceback): Attempting to use uninitialized value beta1_power_1
    [[Node: beta1_power_1/read = Identity[T=DT_FLOAT, _class=["loc:@Variable"], _device="/job:localhost/replica:0/task:0/gpu:0"](beta1_power_1)]]
    [[Node: bidirectional_rnn/fw/fw/stack/_161 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/cpu:0", send_device="/job:localhost/replica:0/task:0/gpu:0", send_device_incarnation=1, tensor_name="edge_1563_bidirectional_rnn/fw/fw/stack", tensor_type=DT_INT32, _device="/job:localhost/replica:0/task:0/cpu:0"]()]]

    というエラーが出てしまいます。
    global_variableの内容を表示させたのですが、tf.variable 'beta1_power:0' shape=() dtype=float32_ref
    というものはあってもbeta1_power_1というものは見当たりませんでした。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.82%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る