LSTMのプログラムの質問(python)

Question

現在pythonのkerasでLSTMで２クラス分類を行うプログラムの実装をしています。
入力データは3つの時系列データを1つのエクセルデータに保存し、プログラム上で1つのデータとしてLSTMに入力します。
この3つの時系列データは各エクセルファイルによってデータ長が違うこともあり、input_shapeでエラーが出てしまいます。
入力データのshapeは
(3,161), (3,149),(3, 167), (3, 186)...
などバラバラです。
特に, input_shapeの部分で、どのようにプログラムを変更したら良いか教えていただきたいです。

import numpy as np
import glob
import random
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import xlrd
import tensorflow as tf
from keras.models import Sequential
from keras.layers.core import Dense
from keras.layers.recurrent import LSTM
from keras.optimizers import Adam
from sklearn.model_selection import train_test_split


###################### 変更パラメータ######################
folder = ["file1","file2"]
input_dim = 2                             # 入力データの次元数：実数値3個なので3を指定
n_hidden = 300                          # 隠れ層
num_epochs=100                       # エポック数
num_batch_size=96                    # バッチサイズ
num_classes = 2                         # 識別クラス数
###################### 変更パラメータ######################


###################### 入力データの最適化 ######################
X = []
Y = []
for index, name in enumerate(folder):
    dir = "./" + name
    files = glob.glob(dir + "/*.xlsx")
    for i, file in enumerate(files):
        envelope_data = pd.read_excel(file,  header=None)
        data = np.array(envelope_data )
        X.append(data)
        Y.append(i)

# 学習用データとテストデータの分割
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.20)
###################### 入力データの最適化 ######################


output_dim = 1                          # 出力データの次元数：同上
num_hidden_units = 128           # 隠れ層のユニット数
len_sequence = 200                    # 時系列の長さ
learning_rate = 0.001                # 学習率
num_training_samples = 1000  # 学習データのサンプル数



model = Sequential()

model.add(LSTM(32, return_sequences=True, input_shape=(?,?,?)))
model.add(LSTM(8, return_sequences=True))
model.add(Dense(2, activation='softmax'))

###################### モデルの汎化性能評価 ######################
# モデルコンパイル
model.compile(loss='categorical_crossentropy', # 損失の基準は交差エントロピー誤差
              optimizer='Adam',                               # 最適化アルゴリズムの選択
              metrics=['accuracy'])                          # 学習評価として正解率を指定

# 実行。出力はなしで設定(verbose=0)。
# 実行。出力ありで設定(verbose=1)。
history = model.fit(X_train, 
                    y_train, 
                    batch_size=num_batch_size, # バッチサイズ
                    epochs=num_epochs,    # エポック回数
                   verbose=1,
                   validation_data=(
                   X_test,
                   y_test))

plt.plot(history.history['accuracy'])
plt.title('model accuracy')
plt.xlabel('epoch')                           # x軸のラベルの設定
plt.ylabel('accuracy')                      # y軸のラベルの設定
plt.legend(['acc'], loc='lower right')
plt.show()
# テストデータに対するエポック毎のLossとAccuracy
score = model.evaluate(X_test, y_test, verbose=0)

### 最終エポック時のLossとAccuracy ###
print('Test Loss:{0:.3f}'.format(score[0]))
print('Test accuracy:{0:.3}'.format(score[1]))

エラー内容

Input 0 is incompatible with layer lstm_5: expected ndim=3, found ndim=4

Comments

[kome_as]

このコードだけでは回答がしづらいです。
エラーメッセージも正確に提示してください

[kokekkoko]

修正致しました。

[kome_as]

file1と"file2にはどのようなデータが入っていますか？
それから、2クラス分類であれば
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy',
optimizer='Adam',
metrics=['accuracy'])
になると思いますが

[kokekkoko]

データによってshapeが違うのですが、例として挙げますと
(3,149), (3,186), (3,167), (3,161)
などのエクセルファイルです。

なるほど。わかりました、ありがとうございます。
一点だけ質問なのですが、2値分類で最後の全結合層Denseは1でいいのでしょうか？

[kome_as]

すみません、少し勘違いしてたみたいです。
提示されたソースコードのままでも大丈夫です、

sigmoidの場合は0~1の値を一つ取るので出力層は1です

[kokekkoko]

理解できました。ありがとうございます。

入力データの形がバラバラの場合のinput_shapeはどのように記述したら良いのでしょうか？

[kome_as]

shapeが不明な部分は None にするとかですかね