形の異なる複数のインプットは、どのようにニューラルネットワークに入力されるのか？

Question

Kerasを使用したモデルについて。

わからないこと

以下のような形の異なるinput1とinput2をインプットとしてmodel.train_on_batch([input1, input2], label)した場合、
どのような形となってニューラルネットワークにインプットされているのでしょうか。

• input1のshapeは(4, 4)
• input2のshapeは(4, )

---

色々調べましたが、通常、複数のインプットレイヤーを定義した場合、
keras.layers.Concatenate
keras.layers.Add
等を用いて、レイヤーをマージするとありましたが、今回のケースではそういった記述も見当たらず。

---

この動画（Githubコードはここ）を観ながら強化学習アルゴリズムを学習しており、上記の部分が分からなくなりました。
以下コードは、わかりやすいように　オリジナルから一部修正して抜粋しました。

import tensorflow as tf
from tensorflow.keras import layers, models, optimizers
from tensorflow.keras import backend as K
import numpy as np

input = tf.keras.Input(shape=(4, ))
advantages = tf.keras.Input(shape=[1])
dense1 = layers.Dense(32, activation='relu')(input)
dense2 = layers.Dense(32, activation='relu')(dense1)
output = layers.Dense(2, activation='softmax')(dense2)

model = tf.keras.Model(inputs=[input, advantages], outputs=[output])

# *********************************
input1 = np.array(
[[ 4.52281174e-02,  4.31672811e-02, -4.57789579e-02,  4.35560472e-02],
 [ 4.60914630e-02, -1.51269339e-01, -4.49078369e-02,  3.21451106e-01],
 [ 4.30660763e-02,  4.44624011e-02, -3.84788148e-02,  1.49510297e-02],
 [ 4.39553243e-02, -1.50087194e-01, -3.81797942e-02,  2.95249428e-01]]
)

input2 = np.array(
[ 1.60063125,  1.47153674,  1.34113826,  1.20942261]
)

label = np.array(
[[1, 0],
 [0, 1],
 [1, 0],
 [0, 1]]
)

model.compile(optimizer=optimizers.Adam(lr=0.0005), loss="binary_crossentropy")
model.train_on_batch([input1, input2], label)

Answer 1

今回の例の場合、2つの入力input、advantagesのうち、inputはそのままニューラルネットワークの層に入力され、advantagesは、層の入力ではなくcustom_lossの計算に使われています。

GitHubを確認すると、肝心な以下の部分が記述されています。質問者様の抜粋で、質問文に転記されなかったようです。

        def custom_loss(y_true, y_pred):
            out = K.clip(y_pred, 1e-8, 1-1e-8)
            log_lik = y_true*K.log(out)

            return K.sum(-log_lik*advantages)

またmodel.summary()でモデルの層構造が以下のようにわかります。これを見ても、input_2であるadvantagesは、どの層にもつながっていません。

__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_1 (InputLayer)            [(None, 4)]          0                                            
__________________________________________________________________________________________________
dense (Dense)                   (None, 32)           160         input_1[0][0]                    
__________________________________________________________________________________________________
dense_1 (Dense)                 (None, 32)           1056        dense[0][0]                      
__________________________________________________________________________________________________
input_2 (InputLayer)            [(None, 1)]          0                                            
__________________________________________________________________________________________________
dense_2 (Dense)                 (None, 2)            66          dense_1[0][0]                    
==================================================================================================

Comments

[toast-uz]

回答記述している間にカブりました・・・（汗）

[koyamashinji]

@toast-uz
詳しく説明頂き　大変参考になりました. 誠に有難うございます。model.summary()がシーケンシャルな図なのかと勘違いし、なぜDenseとOutputの間にadvantagesレイヤーがある？？と困惑していました。

Answer 2

GitHub のコードを見ると、以下で使われていますね

def custom_loss(y_true, y_pred):
    out = K.clip(y_pred, 1e-8, 1-1e-8)
    log_lik = y_true*K.log(out)

    return K.sum(-log_lik*advantages)

質問のコードだと、advantages がどこにも参照されていないので、使われていません。

Comments

[koyamashinji]

おっしゃる通りですね。
tf.keras.Model(inputs=[input1, input2])で、パラメータinputsで受け取る引数は、全てインプットレイヤーに入るものと勘違いをしておりました。
有難うございます。