Tensorflowでmultipyの値が安定しない

Question

下記のコードを実行すると、結果が
[9, 9, 3, 0]
になるときと
[9, 0, 3, 0]
になるときがあります。疑問は2つあります。

値が安定しないのはなぜでしょうか。
同じval1を参照しているmul_op4が0なのにmul_op2が0にならないのは違和感がありますが、正しい挙動でしょうか。

# coding: UTF-8
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import tensorflow as tf

var1 = tf.Variable(0)
const2 = tf.constant(3)

add_op = tf.add(var1, const2)

update_var1 = tf.assign(var1, add_op)

mul_op1 = tf.multiply(add_op, update_var1)
mul_op2 = tf.multiply(add_op, var1)
mul_op3 = tf.multiply(add_op, 1)
mul_op4 = tf.multiply(var1, 1)

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())

  print(sess.run([mul_op1, mul_op2, mul_op3, mul_op4]))

実行環境
Windows7 SP1 64bit
Python 3.6.1
Anaconda 4.4.0 (64-bit)
Tensorflow 1.3.0

Answer 1

正しい挙動ですが、意図した挙動ではないでしょう。
変数が1つしかないのに、それが途中で変更されていることから問題が生じています。
ここでの犯人はmul_op1を実行する際のtf.assignですね。

run()の中のリストの各成分について、並列して計算が行われています。
それぞれの成分を計算しようとしたとき、var1の中身が何であるかが問題です。

並列計算と参照・ポインタに関する経験があれば、よく出会うトラブルの1つです。

試しに、以下のコードを実行すれば安定した出力が得られます。
実行するたびにどんな結果が出てくるのかわからないコードを意図していないのであれば、避けるべきコードとなっています。

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())

  print(sess.run([mul_op1]))
  print(sess.run([mul_op2]))
  print(sess.run([mul_op3]))
  print(sess.run([mul_op4]))

Comments

[WEjpon]

回答ありがとうございます。
教えていただいた内容から、なぜこれが正しい挙動なのかを考えたのですが次の理解で合っているでしょうか？

・sess.run([mul_op1, mul_op2, mul_op3, mul_op4])ではmul_op1～4の実行順序は保障されない。
・mul_op1の中の何ステップ目かでval1が更新される。
・mul_op4が常に0になるのはもう1つの引数が固定値のためvar1が参照されるタイミングが早いから。
・mul_op2が安定しないのはもう1つの引数がオペレーションのためvar1が参照されるタイミングがmul_op4より遅く、mul_op1のval1更新タイミングと近いところにあるから

[mkgrei]

まさにそのとおりだと思います。

[WEjpon]

ありがとうございます。
とても納得できました。