python keras モデル構築について

Question

前提・実現したいこと

分類を行う人工知能の出力を時系列データとして扱う人工知能モデルの開発

発生している問題・エラーメッセージ

モデルを連結して学習を行おうとすると下記のようなエラーが出ます

ValueError: Graph disconnected: cannot obtain value for tensor Tensor("inputs_2_:0", shape=(None, 4, 10), dtype=float32) at layer "inputs_2_". The following previous layers were accessed without issue: []

該当のソースコード

from keras.layers import Input, Dense, LSTM, Concatenate, Activation
from keras.models import Model


class Mymodel(Model):
    def __init__(self, hidden_finger_size, output_finger_size, output_hand_size, hidden_LSTM_size):
        self.hidden_fing = hidden_finger_size
        self.output_fing = output_finger_size
        self.output_hand = output_hand_size
        self.hidden_lstm = hidden_LSTM_size

    def static_model(self, inputs):
        #input
        inputs[0] = Input(shape=(12, ), name='inputs_0')
        inputs[1] = Input(shape=(15, ), name='inputs_1')
        inputs[2] = Input(shape=(15, ), name='inputs_2')
        inputs[3] = Input(shape=(15, ), name='inputs_3')
        inputs[4] = Input(shape=(15, ), name='inputs_4')

        #dense_1
        dense_1_0 = Dense(self.hidden_fing, name='dense_1_0')(inputs[0])
        dense_1_1 = Dense(self.hidden_fing, name='dense_1_1')(inputs[1])
        dense_1_2 = Dense(self.hidden_fing, name='dense_1_2')(inputs[2])
        dense_1_3 = Dense(self.hidden_fing, name='dense_1_3')(inputs[3])
        dense_1_4 = Dense(self.hidden_fing, name='dense_1_4')(inputs[4])

        #activate_1
        activation_1_0 = Activation(activation='sigmoid', name='activation_1_0')(dense_1_0)
        activation_1_1 = Activation(activation='sigmoid', name='activation_1_1')(dense_1_1)
        activation_1_2 = Activation(activation='sigmoid', name='activation_1_2')(dense_1_2)
        activation_1_3 = Activation(activation='sigmoid', name='activation_1_3')(dense_1_3)
        activation_1_4 = Activation(activation='sigmoid', name='activation_1_4')(dense_1_4)

        #dense_2
        dense_2_0 = Dense(self.output_fing, name='dense_2_0')(activation_1_0)
        dense_2_1 = Dense(self.output_fing, name='dense_2_1')(activation_1_1)
        dense_2_2 = Dense(self.output_fing, name='dense_2_2')(activation_1_2)
        dense_2_3 = Dense(self.output_fing, name='dense_2_3')(activation_1_3)
        dense_2_4 = Dense(self.output_fing, name='dense_2_4')(activation_1_4)

        #activate_2
        activation_2_0 = Activation(activation='sigmoid', name='activation_2_0')(dense_2_0)
        activation_2_1 = Activation(activation='sigmoid', name='activation_2_1')(dense_2_1)
        activation_2_2 = Activation(activation='sigmoid', name='activation_2_2')(dense_2_2)
        activation_2_3 = Activation(activation='sigmoid', name='activation_2_3')(dense_2_3)
        activation_2_4 = Activation(activation='sigmoid', name='activation_2_4')(dense_2_4)

        #concatenate
        concatenate = Concatenate()([activation_2_0, activation_2_1, activation_2_2, activation_2_3, activation_2_4])

        #dense_3
        dense_3_ = Dense(self.output_hand, name='dense_3_')(concatenate)
        activation_3_ = Activation(activation='sigmoid', name='activation_3_')(dense_3_)

        return activation_3_

    def dynamic_model(self, inputs):
        inputs_2_ = Input(shape=(4, 10, ), name='inputs_2_')

        lstm_0 = LSTM(self.hidden_lstm, activation='sigmoid', name='lstm_0')(inputs_2_)
        dense_4_ = Dense(self.output_hand, name='dense_4_')(lstm_0)
        activation_4_ = Activation(activation='sigmoid', name='activation_4_')(dense_4_)
    
        return activation_4_

import sys, time, csv, os

my_path = ".."
sys.path.append(my_path) 

from my_dataset.load_hand import load_hand_data
from Myfunction import Myfunction
from const_model import Mymodel

from keras.layers import Input, Dense, LSTM, Flatten, Concatenate, Activation
from keras.models import Model
from keras.utils import plot_model

import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf


I = [12, 15, 15, 15, 15]
epochs = 1
batch_size = 40
time_size = 4
drop_out = 0.5

hidden_finger_size = 10  #指の中間層サイズ
output_finger_size = 5   #指の出力層サイズ
output_hand_size = 10    #手の出力層サイズ
hidden_LSTM_size = 10    #LSTMの中間層サイズ

mymodel = Mymodel(hidden_finger_size, output_finger_size, output_hand_size, hidden_LSTM_size)
func = Myfunction(batch_size)


train_x, train_t, test_x, test_t = load_hand_data(["a.txt", "i.txt", "u.txt", "e.txt", "ku.txt", "se.txt", "so.txt", "ma.txt", "ru.txt", "ya.txt"],
                      [0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
#reshape_train_data_to_batch
tr_batch_x, tr_batch_t = func.get_batch(train_x, train_t)
te_batch_x, te_batch_t = func.get_test_batch(test_x, test_t)

#train_data
h_1_0 = tr_batch_x[:, :I[0]]                                 #親指
h_1_1 = tr_batch_x[:, I[0]:I[0]+I[1]]                        #人差し指
h_1_2 = tr_batch_x[:, I[0]+I[1]:I[0]+I[1]+I[2]]              #中指
h_1_3 = tr_batch_x[:, I[0]+I[1]+I[2]:I[0]+I[1]+I[2]+I[3]]    #薬指
h_1_4 = tr_batch_x[:, I[0]+I[1]+I[2]+I[3]:]                  #小指
#test_data
h_2_0 = te_batch_x[:, :I[0]]                                 #親指
h_2_1 = te_batch_x[:, I[0]:I[0]+I[1]]                        #人差し指
h_2_2 = te_batch_x[:, I[0]+I[1]:I[0]+I[1]+I[2]]              #中指
h_2_3 = te_batch_x[:, I[0]+I[1]+I[2]:I[0]+I[1]+I[2]+I[3]]    #薬指
h_2_4 = te_batch_x[:, I[0]+I[1]+I[2]+I[3]:]                  #小指


#input
inputs_0 = Input(shape=(12, ), name='inputs_0')
inputs_1 = Input(shape=(15, ), name='inputs_1')
inputs_2 = Input(shape=(15, ), name='inputs_2')
inputs_3 = Input(shape=(15, ), name='inputs_3')
inputs_4 = Input(shape=(15, ), name='inputs_4')
inputs = [inputs_0, inputs_1, inputs_2, inputs_3, inputs_4]


static_outputs = mymodel.static_model(inputs)
dynamic_outputs = mymodel.dynamic_model(static_outputs)


#train
model = Model(inputs=inputs, outputs=dynamic_outputs)
model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])
history = model.fit([h_1_0, h_1_1, h_1_2, h_1_3, h_1_4], tr_batch_t,
                     batch_size=batch_size,
                     epochs=epochs,
                     verbose=1,
                     validation_data=([h_2_0, h_2_1, h_2_2, h_2_3, h_2_4], te_batch_t))

試したこと

前回の投稿から、モデルをクラス化しました
クラス化した一つめのモデルの方は学習まで持って行けたのですが、二つ目のモデルの方を繋げて学習を行おうとするとエラーが
出ました

補足情報（FW/ツールのバージョンなど）

python3.6
keras2.3.1

Comments

[yasutakatou]

http://marutaku.hatenablog.com/entry/2017/12/21/213734
こういう対処になるかと思います。もし既に試されていたらすみませんが。。

[vurie]

ありがとうございます
一つ目のモデルの方で最後の方の層にflatten層を入れていたのですが、どうしてもエラーの解消ができなかったので、入力データの形状を[1次元目*2次元目, 3次元目]といった形にしました

Answer 1

質問投稿段階では、モデルを二つに分け接続しようと考えていたのですが、それだとモデル間のデータ受け渡たしをうまくやる方法がわからなかったので、一つ目のモデルが書き終わった後に二つ目のモデルを直接書き込みました。
その際にoutputとinputで形状の問題が出ることがあったのでkeras.layers.Reshapeを使用しました