Keras: concatenateに関して

Question

前提・実現したいこと

Kerasで自然言語処理を行っています。入力文(input1)をEmbeddingとLSTMで処理したあと、もう一つの入力(input2)とLSTMの出力をconcatenateして次のAttention処理を行いたいです。input1のshapeとinput2のshapeが違ったためrepeatを行うことでshapeを整えたのですが、うまく行かず解決方法が見つかりません。教えていただけると助かります。

発生している問題・エラーメッセージ

ValueError: A `Concatenate` layer requires inputs with matching shapes except for the concat axis. Got inputs shapes: [(None, None, 100), (None, 1, 100)]

該当のソースコード

from keras import layers, Input
import keras.backend as K

#model
input1 = Input(shape=(None,))
x = layers.Embedding(vocab_size, 50, mask_zero=True,　trainable=True)(input1)
x = layers.LSTM(100, return_sequences=True, dropout=0.5, recurrent_dropout=0.1)(x)
input2 = Input(shape=(100,))
y = K.repeat(input2,1)
concatenated = layers.concatenate([x, y])
attn_output = AttentionWithContext()(concatenated)

Answer 1

仮に、xのshapeを(None, num1, 100)、yのshapeを(None, num2, 100)とします。
その場合、concatenate([x, y])のデフォルトの動作（すなわちaxis=-1のとき）は、xの100とyの100が結合されて(None, ?, 200)となります（この場合、num1とnum2は同じにしないといけません）。
もし、(None, num1 + num2, 100)としたい場合は、concatenate([x, y], axis=1)（あるいはConcatenate(axis=1)([x, y])）のようにaxisを1か-2にする必要があります。

---

あと、backendの関数とレイヤーは別物なので、y = K.repeat(input2,1)ではなく、y = Lambda(lambda x: K.repeat(x, 1))(input2)のように、Lambdaレイヤーを使ったほうがよろしいかと思います。

Comments

[marimory_y]

エラーに関する処理方法、そしてご助言の方本当にありがとうございます！その部分のエラーに関しては無事解決しました。ただ、その後今度は同じconcatenateの内部でエラーが起きてしました。

ValueError: Dimension 0 in both shapes must be equal, but are 1 and 100. Shapes are [1] and [100]. for 'concatenate_1/concat_1' (op: 'ConcatV2') with input shapes: [?,?,1], [?,1,100], [] and with computed input tensors: input[2] = <1>.

(None, None, 100)のshapeだったはずのLSTMの出力が(?, ?, 1)の形に変換されているようなのですが、これは内部で何が行われているのでしょうか？

[fiveHundred]

すみませんが、これは私はよく分かりません。
試してみたところ「concatenated = layers.concatenate([x, y])」を「concatenated = layers.Lambda(lambda x: K.concatenate(x, axis=1))([x, y])」にするとなぜか動作しましたが、それでなぜ上手くいったかは分かりません。

[marimory_y]

ありがとうございます！無事に解決し正常に動作しました！