tensorflowでの内積を用いた形状変換について。

Question

tensorflowでtf.matmul関数を用いた形状変換をしたいのですが、NumPyのようにブロードキャストが適用されず、どうしたらいいのかよくわかりません。

コードはcifar-10での畳み込み層に２つ前の層から合流するものを作るのですが、
その合流する際にフィルターの数が変わっている部分があり、そこの調整を行うために
tf.matmul関数を使って形状変換を試みました。

num_filters = 16
num_filters = 32
h_pool9 = tf.placeholder(dtype=tf.float32, shape=[None, 12, 12, num_filters1])
W_extra = tf.Variable(tf.truncated_normal([num_filters1, num_filters2],
                                       stddev=0.05, dtype=dtype2), name='change_weights')
b_extra = tf.Variable(tf.constant(0.1, shape=[num_filters2]), name='change_biases')
h_pool9_for_11 = tf.matmul(h_pool9, W_extra) +  b_extra

これを実行しようとするとエラーが生じます。

ValueError: Shape must be rank 2 but is rank 4 for 'MatMul_9' (op: 'MatMul') with input shapes: [?,12,12,16], [16,32].

最終的にh_pool9_for_11で求めたい形状は[?, 12, 12, 32]です。
これを行うためにはどうしたらいいのでしょうか。

Answer 1

tf.matmulは引数2つがともに2次元であることを要求しています。
行列積ですから。

どのようなことを実現したいのかが少々わかりません。

1. 畳み込みによってピクセル数を削減をしたい
2. reshapeして次元を変えたい
3. その他

どのようなものでしょう。

それともtf.multiplyがお探しの関数ですか？
https://www.tensorflow.org/versions/r0.12/api_docs/python/math_ops/arithmetic_operators#multiply

---

import tensorflow as tf
import numpy as np
with tf.Session() as sess:
    x = tf.Variable([1, 2, 3])
    y = tf.Variable([[[1, 2, 3], [4, 5, 6]]])
    sess.run(tf.global_variables_initializer())
    print('x.shape\n', x.shape)
    print('y.shape\n', y.shape)
    print('x*y\n', sess.run(tf.multiply(x, y)))
'''
x.shape
 (3,)
y.shape
 (1, 2, 3)
x*y
 [[[ 1  4  9]
  [ 4 10 18]]]
'''

Comments

[wildgeece96]

これはcifar-10をResNetを用いて分類を行おうとしたときのコードの一部を抜き出してその場で実行できるようにしたものです。
h_pool9というのが第９層で畳み込みを行った後、プーリング層を通したもので、ここでのフィルターの数が16枚でした。
その後、フィルターの枚数を倍の３２枚にした層が第10層から始まり、11層で9層での出力を合流させたくてフィルター数が合致しないためその次元数を調整するために何かしらの処理を施したかったのです。
僕が参照した論文（日本語訳されたものがあったのでそのリンクを貼り付けておきます）ではそのとき重み行列wをかけることでそれを行う趣旨のものが書かれていたため（僕の読み違いであったらすみません）、とりあえず`tf.matmul`関数を使ってその次元調整を行おうと考えた次第です。実際、NumPyで同様のコードを実行するとうまくいったのでTensorFlowでも行えるかと思っていたのですがこのようなエラーが出た次第です。

https://qiita.com/ikeyasu/items/ea9ced2b8e0fcb3da2be

[wildgeece96]

サンプルコードを読んでみると、畳込みでそれを実現しているのを見つけたので、とりあえずそれでやってみます。

[mkgrei]

その場合、
W_extra = tf.Variable(tf.truncated_normal([1, 1, num_filters1, num_filters2], stddev=0.05, dtype=dtype2), name='change_weights')
ではうまくいきませんか？

[mkgrei]

1x1 Convでもうまく行くみたいですね。

[wildgeece96]

うまくいきました！
とりあえずモデル作成段階ではエラーは吐き出されなかったです！！

ありがとうございます！