Kerasでエラー Incompatible shapes:と出るので修正したい

Question

前提・実現したいこと

機械学習初学者です。多変量LSTMに取り組んでいます。ga

Kerasでデータを3次元にする箇所がうまくいきません。
[サンプル数, ルックバック数, 変数数]の3つを作らなければいけないことは調べてわかったのですが、
実際にやってみるとうまくいきませんでした。

アドバイスよろしくお願いします。
（ヒントを出していただいてもおそらくすぐに理解できないので、先に「こうすれば動くよ」というのを教えていただけるとありがたいです。googleでヒントを得ようと思ったのですが、結局理解できませんでした。）

（やりたいことはclose_values volume_valuesの2つの値を使って学習させ、close_valuesの未来の値を予測させることです。）

発生している問題・エラーメッセージ

InvalidArgumentError:  Incompatible shapes: [200,1] vs. [200,20,2]
	 [[node gradient_tape/mean_squared_error/BroadcastGradientArgs (defined at <ipython-input-32-aa90cd783a2f>:21) ]] [Op:__inference_train_function_34315]

Function call stack:
train_function

該当のソースコード

#データの正規化
#close_values volume_values
from sklearn.preprocessing import MinMaxScaler
mms = MinMaxScaler()

#正規化された配列
scaler = mms.fit(close_values)
scaler2 = mms.fit(volume_values)

close_values_norm = scaler.transform(close_values)
volume_values_norm = scaler2.transform(volume_values)

#----------------------------------@
import more_itertools
#more_itertools.windowed = 数値をずらす関数 (ずらしたいもの,数値)
# [サンプル数, ルックバック数, 変数数]の３つを作る

#3次元配列を作る
lookback = 20
close_v = np.array(list(more_itertools.windowed(close_values_norm[:-20],lookback)))
volume_v = np.array(list(more_itertools.windowed(volume_values_norm[:-20],lookback)))

close_tt = np.array(list(more_itertools.windowed(close_values_norm[lookback:],lookback)))
volume_tt = np.array(list(more_itertools.windowed(volume_values_norm[lookback:],lookback)))

#close_tt = np.array(close_values_norm[lookback:])
#volume_tt = np.array(volume_values_norm[lookback:])

#データの結合
x_train = np.concatenate([close_v,volume_v], axis=2)
y_train = np.concatenate([close_tt,volume_tt], axis=2)


#-------------------------------------@
#学習を開始する
##学習の設定
from keras.models import Sequential
from keras.layers.core import Dense,Activation
from keras.layers.recurrent import LSTM

model = Sequential()
model.add(LSTM(300))
model.add(Dense(1,input_shape = (3, ))) 
model.add(Activation('linear'))
model.compile(loss="mean_squared_error",optimizer="adam")
#print(x_train)
#print(y_train)


#early_stopping
from keras.callbacks import EarlyStopping
early_stopping = EarlyStopping(monitor="val_loss",mode="auto",patience=0)
model.fit(x_train, y_train, batch_size=200, epochs=10, validation_split=0.2, callbacks=[early_stopping])

試したこと

2日間調べましたが、結局わかりませんでした・・・

補足情報（FW/ツールのバージョンなど）

x_trainのデータ

Answer 1

まず、多変量LSTMというのが、(1)多変量の説明変数・1つの目的変数なのか、(2)多変量の説明変数・多変量の目的変数なのか、をはっきりさせましょう。

質問者様のモデルは(1)で、前処理で作られたデータは(2)を志向しており、食い違っています。結果としてIncompatible shapesというエラーになっています。よって、対策は(1)または(2)どちらかに方針を揃えることです。

対策(1)多変量の説明変数・1つの目的変数にする場合

これが比較的事例が多くでオススメです。

参考: TensorFlow 2.x での多変量LSTMとデータの前処理
前処理で_xは[サンプル数, ルックバック数, 変数数]、_yは[サンプル数, 変数数=1]にしていることがわかると思います。目的変数はルックバックをせず、変数数=1となっています。

質問者様の場合、ルックバック数=20、変数数=2となっています。よって、y_trainはルックバックをせずに、変数はどちらか1つを選択してください。2つの変数を予測する場合、個々に1変数のモデルを作って独立に予測すればよいです。

対策(2)多変量の説明変数・多変量の目的変数にする場合

これは適した事例が見当たりませんが、Kerasの機能としては可能だと思います。
なお、ルックバック数=20をまとめて予測するのは、意味がありませんので、変数数=2だけをまとめて予測することを試みます。

質問者様の場合、Dense層の次元を2にすることで、上記を達成できます。
（ルックバック数=20を含めた20×2次元を予測することも機能上は可能です。その際は、Dense層の次元を20*2=40にして、最後にReshape層で出力形式を20×2次元に変換します）

Comments

[spa]

返信ありがとうございます。
参考URLのサイトをずっと見ながら進めていたのですが、いまいちピンときていなかったので助かりました。

やりたいことは(1)多変量の説明変数・1つの目的変数
でしたので
x_train = np.concatenate([close_v,volume_v], axis=2)
y_train = np.array(close_values_norm)
に書き直したところ動きました。

細かい所の間違いはもう少し勉強してみようと思います。