多入力のCNN層とLSTM層を組み合わせたネットワークの構築ができない

Question

kerasを使って、CNNとRNNを組み合わせたモデルを構築しようとしております。
入力は６つで、それぞれの入力で畳み込みを行った後、一つの入力に結合して、それをLSTMで学習させます。
元データは、(time,input_number,50,50)という形で、出力及び正解データは１次元です。

以下のように書いてみたのですが、LSTMに入力する時点で次元が合わないエラーが出たり、次元を直してもType errorが出てしまいます.
ひとつのモデルで書けないかと思い、モデルを二つに分けてます。Sequential()であれば、一つで書けそうですが、多入力のやり方がわからないです。
そして、はたしてモデルが構築できたとして、model.fitなどで学習できるでしょうか？
このモデルの構築などに何かアドバイスや参考コードを頂ければと思います。

############################################
#Inputs
#############################################


input_data_1  =  Input(shape=(1,50,50))
input_data_2  =  Input(shape=(1,50,50))
input_data_3  =  Input(shape=(1,50,50))
input_data_4  =  Input(shape=(1,50,50))
input_data_5  =  Input(shape=(1,50,50))
input_data_6  =  Input(shape=(1,50,50))

#############################################
#Convolution Layer 1
#############################################

x_1 = Conv2D(5, (5, 5), padding='same')(input_data_1)
x_1 = BatchNormalization()(x_1)
x_1 = Activation('relu')(x_1)
x_1 = MaxPooling2D((2, 2), padding='same')(x_1) 

x_2 = Conv2D(5, (5, 5), padding='same')(input_data_2)
x_2 = BatchNormalization()(x_2)
x_2 = Activation('relu')(x_2)
x_2 = MaxPooling2D((2, 2), padding='same')(x_2) 

x_3 = Conv2D(5, (5, 5), padding='same')(input_data_3)
x_3 = BatchNormalization()(x_3)
x_3 = Activation('relu')(x_3)
x_3 = MaxPooling2D((2, 2), padding='same')(x_3) 

x_4 = Conv2D(5, (5, 5), padding='same')(input_data_4)
x_4 = BatchNormalization()(x_4)
x_4 = Activation('relu')(x_4)
x_4 = MaxPooling2D((2, 2), padding='same')(x_4) 

x_5 = Conv2D(5, (5, 5), padding='same')(input_data_5)
x_5 = BatchNormalization()(x_5)
x_5 = Activation('relu')(x_5)
x_5 = MaxPooling2D((2, 2), padding='same')(x_5) 

x_6 = Conv2D(5, (5, 5), padding='same')(input_data_6)
x_6 = BatchNormalization()(x_6)
x_6 = Activation('relu')(x_6)
x_6 = MaxPooling2D((2, 2), padding='same')(x_6) 


x_1 = Dropout(0.25)(x_1)
x_2 = Dropout(0.25)(x_2)
x_3 = Dropout(0.25)(x_3)
x_4 = Dropout(0.25)(x_4)
x_5 = Dropout(0.25)(x_5)
x_6 = Dropout(0.25)(x_6)

#############################################
#Convolution Layer 2
#############################################

x_1_b = Conv2D(5, (3, 3), padding='same')(x_1)
x_1_b = BatchNormalization()(x_1_b)
x_1_b = Activation('relu')(x_1_b)
x_1_b = MaxPooling2D((2, 2), padding='same')(x_1_b) 

x_2_b = Conv2D(5, (3, 3), padding='same')(x_2)
x_2_b = BatchNormalization()(x_2_b)
x_2_b = Activation('relu')(x_2_b)
x_2_b = MaxPooling2D((2, 2), padding='same')(x_2_b) 

x_3_b = Conv2D(5, (3, 3), padding='same')(x_3)
x_3_b = BatchNormalization()(x_3_b)
x_3_b = Activation('relu')(x_3_b)
x_3_b = MaxPooling2D((2, 2), padding='same')(x_3_b) 

x_4_b = Conv2D(5, (3, 3), padding='same')(x_4)
x_4_b = BatchNormalization()(x_4_b)
x_4_b = Activation('relu')(x_4_b)
x_4_b = MaxPooling2D((2, 2), padding='same')(x_4_b) 

x_5_b = Conv2D(5, (3, 3), padding='same')(x_5)
x_5_b = BatchNormalization()(x_5_b)
x_5_b = Activation('relu')(x_5_b)
x_5_b = MaxPooling2D((2, 2), padding='same')(x_5_b) 

x_6_b = Conv2D(5, (3, 3), padding='same')(x_6)
x_6_b = BatchNormalization()(x_6_b)
x_6_b = Activation('relu')(x_6_b)
x_6_b = MaxPooling2D((2, 2), padding='same')(x_6_b) 

#############################################
#Fully Connected Layer 1~3
#############################################

x_1_1 = Dense(20, activation = 'relu')(x_1_b)
x_2_1 = Dense(20, activation = 'relu')(x_2_b)
x_3_1 = Dense(20, activation = 'relu')(x_3_b)
x_4_1 = Dense(20, activation = 'relu')(x_4_b)
x_5_1 = Dense(20, activation = 'relu')(x_5_b)
x_6_1 = Dense(20, activation = 'relu')(x_6_b)

#Dropout

x_1_1 = Dropout(0.25)(x_1_1)
x_2_1 = Dropout(0.25)(x_2_1)
x_3_1 = Dropout(0.25)(x_3_1)
x_4_1 = Dropout(0.25)(x_4_1)
x_5_1 = Dropout(0.25)(x_5_1)
x_6_1 = Dropout(0.25)(x_6_1)



x_1_2 = Dense(20, activation = 'relu')(x_1_1)
x_2_2 = Dense(20, activation = 'relu')(x_2_1)
x_3_2 = Dense(20, activation = 'relu')(x_3_1)
x_4_2 = Dense(20, activation = 'relu')(x_4_1)
x_5_2 = Dense(20, activation = 'relu')(x_5_1)
x_6_2 = Dense(20, activation = 'relu')(x_6_1)


x_1_3 = Dense(1, activation = 'relu')(x_1_2)
x_2_3 = Dense(1, activation = 'relu')(x_2_2)
x_3_3 = Dense(1, activation = 'relu')(x_3_2)
x_4_3 = Dense(1, activation = 'relu')(x_4_2)
x_5_3 = Dense(1, activation = 'relu')(x_5_2)
x_6_3 = Dense(1, activation = 'relu')(x_6_2)


merge = layers.concatenate([x_1_3, x_2_3, x_3_3, x_4_3, x_5_3, x_6_3], axis = 1)

x = BatchNormalization()(merge)
x = Activation('relu')(x)

model_conv = Model(inputs = [input_data_1, input_data_2, input_data_3, input_data_4, input_data_5, input_data_6] , outputs = x )


y = Flatten()(x)
y = y[np.newaxis,:,:]


#############################################
#LSTM layer
#############################################

lstm = LSTM(30)(y)
y = Dense(20)(lstm)
y = Dense(20)(y)
y = BatchNormalization()(y)
output  = Dense(1)(y)
model_lstm = Model(input = lstm , output = output)


# # # #############################################
# # # #Visualize
# # # #############################################
# from keras.utils import plot_model

# model_conv.summary()
# plot_model(model_conv, to_file = 'model_conv.png',show_shapes=True, show_layer_names=False)

# model_lstm.summary()
# plot_model(model_lstm,to_file = 'model_lstm.png', show_shapes=True, show_layer_names=True)

Answer 1

model_lstmのinputsにわたしている値が適切ではないです。以下のようにInput layerを渡すように修正すると少なくともsummaryはだせるようになります。

model_lstm = Model(inputs = [input_data_1, input_data_2, input_data_3, input_data_4, input_data_5, input_data_6] , outputs = output)

ただ、普段batch_sizeとして使っている次元をtimeの次元として使うのはkerasではあまりいい選択ではないと思います。

以下、kerasでよくある書き方への落とし込み方を説明します。
上記の修正で、求めておられるモデルが構築できている場合は読み飛ばして下さい。

別案

kerasっぽく書くなら(batch_size, time, input_dim, 50, 50)という入力にするのがいいのではないでしょうか。

まず、CNNの部分だけ切り出して、keras.Modelを作る関数を作ります。

def conv_block(input_dim, width, height):
    x  =  Input(shape=(input_dim, width, height))
    #############################################
    #Convolution Layer 1
    #############################################
    x_1 = Conv2D(5, (5, 5), padding='same')(x)
    x_1 = BatchNormalization()(x_1)
    x_1 = Activation('relu')(x_1)
    x_1 = MaxPooling2D((2, 2), padding='same')(x_1) 
    x_1 = Dropout(0.25)(x_1)
    #############################################
    #Convolution Layer 2
    #############################################
    x_1_b = Conv2D(5, (3, 3), padding='same')(x_1)
    x_1_b = BatchNormalization()(x_1_b)
    x_1_b = Activation('relu')(x_1_b)
    x_1_b = MaxPooling2D((2, 2), padding='same')(x_1_b) 
    #############################################
    #Fully Connected Layer 1~3
    #############################################
    x_1_1 = Dense(20, activation = 'relu')(x_1_b)
    x_1_1 = Dropout(0.25)(x_1_1)
    x_1_2 = Dense(20, activation = 'relu')(x_1_1)
    x_1_3 = Dense(1, activation = 'relu')(x_1_2)
    model = Model(inputs=x, outputs=x_1_3)
    return model

次に、inputを時間方向を加えたものに変更します。なお、conv_blockは時間の次元は畳み込まないので、keras.TiemDistributedを使って時間以外の次元だけconv_blockに渡します。時間の長さ分だけ繰り返し同じconv_blockに入力して、(バッチサイズ, 時間, conv_blockの出力)という出力を作ります。

from keras.layers import TimeDistributed

time = 10
############################################
#Inputs
############################################
input_data_1  =  Input(shape=(time, 1,50,50))
input_data_2  =  Input(shape=(time, 1,50,50))
input_data_3  =  Input(shape=(time, 1,50,50))
input_data_4  =  Input(shape=(time, 1,50,50))
input_data_5  =  Input(shape=(time, 1,50,50))
input_data_6  =  Input(shape=(time, 1,50,50))

############################################
#Conv blocks
############################################
x_1_3 = TimeDistributed(conv_block(1, 50, 50))(input_data_1)
x_2_3 = TimeDistributed(conv_block(1, 50, 50))(input_data_2)
x_3_3 = TimeDistributed(conv_block(1, 50, 50))(input_data_3)
x_4_3 = TimeDistributed(conv_block(1, 50, 50))(input_data_4)
x_5_3 = TimeDistributed(conv_block(1, 50, 50))(input_data_5)
x_6_3 = TimeDistributed(conv_block(1, 50, 50))(input_data_6)

次に、時間の次元を残して、Mergeしていきます。

from keras.layers import Reshape

############################################
#Merge Layers
############################################
merge = layers.concatenate([x_1_3, x_2_3, x_3_3, x_4_3, x_5_3, x_6_3], axis = 2)
# merge.shape => TensorShape([None, 10, 6, 13, 1])
x = BatchNormalization()(merge)
x = Activation('relu')(x)
# Flatten without time dimension
output_dim = x.shape[2] * x.shape[3] * x.shape[4]
y_conv = Reshape((time, output_dim))(x)

すると、LSTMの標準的な入力である(バッチサイズ, 時間, 特徴量)の形になっているので、後は単にLSTMを構築します。

#############################################
#LSTM layer
#############################################
# Input_shape=(None, time, emb) => output_shape=(None, 30)
lstm = LSTM(30)(y_conv)
y = Dense(20)(lstm)
y = Dense(20)(y)
y = BatchNormalization()(y)
output  = Dense(1)(y)
# model_lstm = Model(inputs = y_conv , outputs = output)
model = Model([input_data_1, input_data_2, input_data_3, input_data_4, input_data_5, input_data_6], outputs=output)

model.summary()

__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_1 (InputLayer)            [(None, 10, 1, 50, 5 0                                            
__________________________________________________________________________________________________
input_2 (InputLayer)            [(None, 10, 1, 50, 5 0                                            
__________________________________________________________________________________________________
input_3 (InputLayer)            [(None, 10, 1, 50, 5 0                                            
__________________________________________________________________________________________________
input_4 (InputLayer)            [(None, 10, 1, 50, 5 0                                            
__________________________________________________________________________________________________
input_5 (InputLayer)            [(None, 10, 1, 50, 5 0                                            
__________________________________________________________________________________________________
input_6 (InputLayer)            [(None, 10, 1, 50, 5 0                                            
__________________________________________________________________________________________________
time_distributed (TimeDistribut (None, 10, 1, 13, 1) 7086        input_1[0][0]                    
__________________________________________________________________________________________________
time_distributed_1 (TimeDistrib (None, 10, 1, 13, 1) 7086        input_2[0][0]                    
__________________________________________________________________________________________________
time_distributed_2 (TimeDistrib (None, 10, 1, 13, 1) 7086        input_3[0][0]                    
__________________________________________________________________________________________________
time_distributed_3 (TimeDistrib (None, 10, 1, 13, 1) 7086        input_4[0][0]                    
__________________________________________________________________________________________________
time_distributed_4 (TimeDistrib (None, 10, 1, 13, 1) 7086        input_5[0][0]                    
__________________________________________________________________________________________________
time_distributed_5 (TimeDistrib (None, 10, 1, 13, 1) 7086        input_6[0][0]                    
__________________________________________________________________________________________________
concatenate (Concatenate)       (None, 10, 6, 13, 1) 0           time_distributed[0][0]           
                                                                 time_distributed_1[0][0]         
                                                                 time_distributed_2[0][0]         
                                                                 time_distributed_3[0][0]         
                                                                 time_distributed_4[0][0]         
                                                                 time_distributed_5[0][0]         
__________________________________________________________________________________________________
batch_normalization_12 (BatchNo (None, 10, 6, 13, 1) 4           concatenate[0][0]                
__________________________________________________________________________________________________
activation_12 (Activation)      (None, 10, 6, 13, 1) 0           batch_normalization_12[0][0]     
__________________________________________________________________________________________________
reshape (Reshape)               (None, 10, 78)       0           activation_12[0][0]              
__________________________________________________________________________________________________
lstm (LSTM)                     (None, 30)           13080       reshape[0][0]                    
__________________________________________________________________________________________________
dense_18 (Dense)                (None, 20)           620         lstm[0][0]                       
__________________________________________________________________________________________________
dense_19 (Dense)                (None, 20)           420         dense_18[0][0]                   
__________________________________________________________________________________________________
batch_normalization_13 (BatchNo (None, 20)           80          dense_19[0][0]                   
__________________________________________________________________________________________________
dense_20 (Dense)                (None, 1)            21          batch_normalization_13[0][0]     
==================================================================================================
Total params: 56,741
Trainable params: 56,579
Non-trainable params: 162
__________________________________________________________________________________________________

Comments

[blackmk]

とてもご丁寧にありがとうございます。確かに、別案の方がkerasで書きやすく、無理が無いように思えます。非常に勉強になりました。ありがとうございます。

[blackmk]

追加で申し訳ありませんが、'Node' object has no attribute 'output_masks'が出ております。おそらくkerasとtensorflowのモジュールがごちゃ混ぜになっているので、よろしければその他importしたモジュールを教えていただけれればと思います。

[T.Tom]

素のkerasだったんですね。勘違いしていました。import文を修正してkerasのモジュールに統一しましたので、こちらで再度試して頂きたいです。

[blackmk]

再度失礼いたします。CNN層からLSTM層に渡す際に
float() argument must be a string or a number , not 'Dimension'
と出てしまいます…shapeも確認しましたが、y_convの次元もT.Tom様の書かれた次元の通りで間違いはありません。
これはどのようなミスでしょうか？以下、importしたものです。
from keras.layers import
Input,Dense,Dropout,Conv2D,BacthNormalization,Activation,
TimeDistributed,Reshape,concatenate,LSTM
from keras.models import Model