LSTMで多層を実装したい

Question

pythonでLSTMの行う際に、隠れ層を多層にしたいです。

1層でのプログラムなら動いたのですが、二層にするとエラーが発生します。

model = Sequential()
input_shape=(max_len, n_in)

model.add(LSTM(n_hidden, kernel_initializer=weight_variable, input_shape=input_shape))
model.add(Dropout(0.5))

model.add(LSTM(n_hidden, kernel_initializer=weight_variable))
model.add(Dropout(0.5))

model.add(Dense(n_out, kernel_initializer=weight_variable))
model.add(Activation('linear'))

optimizer = Adam(lr=0.001, beta_1=0.9, beta_2=0.999)
model.compile(loss="mse", optimizer=optimizer)

epochs = 100
batch_size = 64

history = model.fit(X_train, Y_train,
          batch_size=batch_size,
          epochs=epochs,
          validation_data=(X_val, Y_val),
          callbacks=[lr_decay])

ValueError: Input 0 is incompatible with layer lstm_12: expected ndim=3, found ndim=2

どこがいけないか教えていただきたいです。

Answer 1

1層目のLSTM、

model.add(LSTM(n_hidden, kernel_initializer=weight_variable, input_shape=input_shape))

を

model.add(LSTM(n_hidden, kernel_initializer=weight_variable, input_shape=input_shape, return_sequences=True))

にしてみてください。

https://keras.io/ja/layers/recurrent/#lstm

出力系列の最後の出力を返すか，完全な系列を返すか．

Falseだと1層目のLSTMが最後の出力だけしか返しません。

Comments

[ice_Deep]

解決しました！
ありがとうございます

Answer 2

公式ドキュメントのRNNによると、以下のようになっています。

入力のshape
shapeが(batch_size, timesteps, input_dim)の3階テンソル．

出力のshape
return_stateの場合：テンソルのリスト．最初のテンソルが出力になります．残りのテンソルは最終状態で，それぞれのshapeは(batch_size, units)です．
return_sequencesの場合：shapeが(batch_size, timesteps, input_dim)の3階テンソル．
それ以外の場合：shapeが(batch_size, input_dim)の2階テンソル．

従って、以下のようになります。

• 入力は(max_len, n_in)ではなく、(バッチ数, max_len, n_in)とする必要がある
• LSTM層にreturn_sequences=Trueを指定する必要がある

Comments

[ice_Deep]

つまり今のだとtime step と　バッチ数が混ざっていてまずい状態ということですか？

runすると動いて、バッチ数を入れるとエラーが起こってしまいます.

エラー内容
Input 0 is incompatible with layer lstm_1: expected ndim=3, found ndim=4

[ice_Deep]

バッチ数を入れないと動くという意味です！

[fiveHundred]

てっきりバッチサイズを考慮していないと思い込んでいました。すいませんでした。