質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.87%

  • Python

    6306questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    555questions

tensorflowでの内積を用いた形状変換について。

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 207

wildgeece96

score 2

tensorflowでtf.matmul関数を用いた形状変換をしたいのですが、NumPyのようにブロードキャストが適用されず、どうしたらいいのかよくわかりません。  

コードはcifar-10での畳み込み層に2つ前の層から合流するものを作るのですが、
その合流する際にフィルターの数が変わっている部分があり、そこの調整を行うために
tf.matmul関数を使って形状変換を試みました。

num_filters = 16
num_filters = 32
h_pool9 = tf.placeholder(dtype=tf.float32, shape=[None, 12, 12, num_filters1])
W_extra = tf.Variable(tf.truncated_normal([num_filters1, num_filters2],
                                       stddev=0.05, dtype=dtype2), name='change_weights')
b_extra = tf.Variable(tf.constant(0.1, shape=[num_filters2]), name='change_biases')
h_pool9_for_11 = tf.matmul(h_pool9, W_extra) +  b_extra

 

これを実行しようとするとエラーが生じます。

ValueError: Shape must be rank 2 but is rank 4 for 'MatMul_9' (op: 'MatMul') with input shapes: [?,12,12,16], [16,32].


最終的にh_pool9_for_11で求めたい形状は[?, 12, 12, 32]です。
これを行うためにはどうしたらいいのでしょうか。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

tf.matmulは引数2つがともに2次元であることを要求しています。
行列積ですから。

どのようなことを実現したいのかが少々わかりません。

  1. 畳み込みによってピクセル数を削減をしたい
  2. reshapeして次元を変えたい
  3. その他

どのようなものでしょう。

それともtf.multiplyがお探しの関数ですか?
https://www.tensorflow.org/versions/r0.12/api_docs/python/math_ops/arithmetic_operators#multiply


import tensorflow as tf
import numpy as np
with tf.Session() as sess:
    x = tf.Variable([1, 2, 3])
    y = tf.Variable([[[1, 2, 3], [4, 5, 6]]])
    sess.run(tf.global_variables_initializer())
    print('x.shape\n', x.shape)
    print('y.shape\n', y.shape)
    print('x*y\n', sess.run(tf.multiply(x, y)))
'''
x.shape
 (3,)
y.shape
 (1, 2, 3)
x*y
 [[[ 1  4  9]
  [ 4 10 18]]]
'''

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/12/11 21:19

    これはcifar-10をResNetを用いて分類を行おうとしたときのコードの一部を抜き出してその場で実行できるようにしたものです。
    h_pool9というのが第9層で畳み込みを行った後、プーリング層を通したもので、ここでのフィルターの数が16枚でした。
    その後、フィルターの枚数を倍の32枚にした層が第10層から始まり、11層で9層での出力を合流させたくてフィルター数が合致しないためその次元数を調整するために何かしらの処理を施したかったのです。
    僕が参照した論文(日本語訳されたものがあったのでそのリンクを貼り付けておきます)ではそのとき重み行列wをかけることでそれを行う趣旨のものが書かれていたため(僕の読み違いであったらすみません)、とりあえず`tf.matmul`関数を使ってその次元調整を行おうと考えた次第です。実際、NumPyで同様のコードを実行するとうまくいったのでTensorFlowでも行えるかと思っていたのですがこのようなエラーが出た次第です。

    https://qiita.com/ikeyasu/items/ea9ced2b8e0fcb3da2be

    キャンセル

  • 2017/12/11 21:20

    サンプルコードを読んでみると、畳込みでそれを実現しているのを見つけたので、とりあえずそれでやってみます。

    キャンセル

  • 2017/12/11 21:38

    その場合、
    W_extra = tf.Variable(tf.truncated_normal([1, 1, num_filters1, num_filters2], stddev=0.05, dtype=dtype2), name='change_weights')
    ではうまくいきませんか?

    キャンセル

  • 2017/12/11 21:41

    1x1 Convでもうまく行くみたいですね。

    キャンセル

  • 2017/12/11 21:41

    うまくいきました!
    とりあえずモデル作成段階ではエラーは吐き出されなかったです!!

    ありがとうございます!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.87%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python

    6306questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    555questions