TensorFlowのplaceholderのNoneの回数だけ繰り返し計算

Question

x = np.random.rand(100, 3)
size = x.shape[0]
y = np.random.rand(size)
z = np.zeros((size, 3))

for i in range(size):
z[i] = x[i]*y[i]

上記の計算をTensorFlowのplaceholderで行いたいです。
x = tf.placeholder(tf.float32, shape = [None, 10, 3])
y = tf.placeholder(tf.float32, shape = [None, 10])
size = x.shape[0]
for i in range(size):
pass
しかし、placeholderの場合はxの大きさがNone×10×3なので、size = Noneとなってしまい繰り返し計算が行えません。何か良い方法はありますでしょうか？
もしない場合は、繰り返し計算を行うことなく、上記のNumpyの計算を実現したいのですが可能でしょうか。

よろしくお願いします。

Answer 1

まず、x=tf.placefolderで指定するtensorは3次元ですが、実際に引き渡すデータは2次元なので、計算の前でエラーが発生します。yも同様です。

次に本題のzの計算方法ですが、tensor同士の演算を使ったほうがいいかと思います。もとのnumpyのarray同士の計算もfor文による繰り返しは必要ではありません。

具体的には以下です。

x=np.random.rand(100,3)
y=np.random.rand(100).reshape(100,1) #tensorの演算ができるように形状を変換

x1=tf.placefolder(tf.float32,[100,3]) #100はNaneでも良い
x2=tf.placefolder(tf.float32,[100,1])

result=x1*x2


sess=tf.Session()
z=sess.run(result,feed_dict={x1:x,x2:y})

Answer 2

tensorflow は numpy とほぼ同じなので、numpy でまず考えていきます。

for i in range(N):
    z[i] = x[i] * y[i]

は、z = x * y[..., np.newaxis] と同値です。

y[..., np.newaxis] とすることで、y の形状を (N,) から (N, 1) と変更しており、
x * y[..., np.newaxis] は (N, M) * (N, 1) の要素ごとの積になります。
形状が一致していないので、ブロードキャストの規則が適用され、(N, 1) -> (N, M) にした上で計算されます。

import numpy as np
import tensorflow as tf

N, M = 5, 3
x = np.random.rand(N, M)
y = np.random.rand(N)
z1 = np.zeros((N, M))

for i in range(N):
    z1[i] = x[i] * y[i]

# これは以下と同値
z2 = x * y[..., np.newaxis]
print(np.allclose(z1, z2))

TensorFlow も同様に形状が (None, N) の y を末尾 (axis=-1) に次元を1つ挿入して (None, N, 1) にした上で、形状が (None, N, M) の x と演算を行います。
すると、同様にブロードキャストが行われ、望む結果が得られます。

import numpy as np
import tensorflow as tf

N, M = 5, 3
x = np.random.rand(10, N, M)
y = np.random.rand(10, N)

x_in = tf.placeholder(tf.float32, shape=[None, N, M])
y_in = tf.placeholder(tf.float32, shape=[None, N])

z_out = x_in * tf.expand_dims(y_in, axis=-1)

with tf.Session() as sess:
    ret = sess.run(z_out, feed_dict={x_in: x, y_in: y})

print(ret)

numpy, TensorFlow でコードを書く場合は、ブロードキャスト及び関数を利用することで基本的には for 文を書く必要はないはずです。
特に TensorFlow のテンソルは要素ごとにアクセスしてそこに値を代入するといったことはできないので、ブロードキャストを使った演算を習得することが必須となります。
numpy では for 文を使って要素に1つずつ代入することはできるのですが、コードがかなり遅くなるので、おすすめできません。

Comments

[opeco17]

丁寧なご説明ありがとうございます。
とても勉強になりました。