ValueError: Dimensions must be equal, but are 10 and 64 for 'add_1' (op: 'Add') with input shapes: [

Question

ValueError: Dimensions must be equal, but are 10 and 64 for 'add_1' (op: 'Add') with input shapes: [?,10], [64] とエラーが出ました。

x = tf.placeholder(tf.float32,[None,784])
w_1 = tf.Variable(tf.truncated_normal([784,64],stddev=0.1,name="w1"))
b_1 = tf.Variable(tf.zeros([64]),name="b1")
h_1 = tf.nn.relu(tf.matmul(x,w_1)+b_1)

w_2 = tf.Variable(tf.truncated_normal([64,10],stddev=0.1,name="w2"))
b_2 = tf.Variable(tf.zeros([64]),name="b2")
out = tf.nn.softmax(tf.matmul(h_1,w_2)+b_2)

y = tf.placeholder(tf.float32,[None,10])
loss = tf.reduce_mean(tf.square(y - out))

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(loss)
correct = tf.equal(tf.argmax(out,1),tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct,tf.float32))
init = tf.global_variables_initializer()

with tf.Session() as sess:
	sess.run(init)

	for i in range(1000):
		step = i + 1
		sess.run(train_step,feed_dict={x:train_images,y:train_labels})

		if step % 10 == 0:
			acc_val = sess.run(accuracy,feed_dict={x:test_images,y:test_labels})
			print("Step %d:accuracy = %.2f"%(step,acc_val))

とコードを書きました。画像のサイズの指定がおかしいのでしょうか？どう直せばいいのでしょうか？

Answer 1

このエラーは計算するtensorのshapeが異なるから出ていると思われます．以下のように修正してみては如何でしょうか．

...

w_2 = tf.Variable(tf.truncated_normal([64,10],stddev=0.1,name="w2"))
#b_2 = tf.Variable(tf.zeros([64]),name="b2")
b_2 = tf.Variable(tf.zeros([10]), name="b2")
out = tf.nn.softmax(tf.matmul(h_1,w_2)+b_2)
...

これは，tf.matmul(h_1, w_2)の計算で，[None,64] x [64,10]の行列計算が行われ，[None,10]の出力となり，そこに[64,]の足し算を行おうとしてエラーがでていると思います．
そのため，上記のようにbiasのshapeを出力shapeと同様にすると問題なく動作すると思います．
以上です．

Comments

[taiyo2017]

いつもありがとうございます。解決しました！ちなみに、なぜtf.matmul(h_1, w_2)の計算で，[None,64] x [64,10]の行列計算が行われ，[None,10]の出力となり，そこに[64,]の足し算を行おうとしてエラーがでている、と考えられましたか？

[Hiroki013]

tf.matmulはdot計算(np.dotと同じ)をtensorflowで扱うための関数です．なので，tf.matmul(h_1, w_2)は中間層h_1(None, 64)とw_2(64, 10)のdot計算をしていることになります．その結果，tf.matmul(h_1, w_2)の出力は(None, 10)になります．

[taiyo2017]

なるほど、ありがとうございます。