kerasによる時系列予測の実装での結果の解釈ができない

Question

前提・実現したいこと

kerasによる時系列データの予測をしたく，そのためのモデルの構築をしているのですが，
作成したモデルの出力結果が思った結果が得られません。
モデルでは，5分間隔のデータを入力として使用し，6ステップ先(30分後)の値を予測したいと考えています。
しかし，出力される結果は下記図1のような結果となり，ただ前のステップの値を出力しているような結果となります。
学習データに対して，正解データを6ステップ(30分後)ずらした値として学習させるという考え方がまちがっているのでしょうか？
自分なりの対策として，30分間隔に集計したデータを用いて1ステップ先を予測するという形にしたのですが，
この結果(下記図2)も意図した学習ができていないように感じました。
私のプログラム自体が間違っているのでしょうか？
どこを改善したらいいのか教えてほしいです。

下記コードの意図としては,
pred_timeで予測したい将来を与えています。

【図の説明】
青線：予測値
オレンジ線：観測値

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

#1変数のみを入力

import os 
import numpy as np
import pandas as pd 
import matplotlib.pyplot as plt 

import_file = 'C:/Users/temp/Desktop/week_day_30min.csv'          #データファイルの読み込み

#事前の決定
test_rate = 0.2                     #データの分割割合
time = 48                          #一日の時系列長

#データのインポート
df = pd.read_csv(import_file)

#必要なデータの抽出
date = df.iloc[:,0:1].values          #データの１列目を抽出
Pt = df.iloc[:, 4:5].values           #データの4列目を抽出
Pt = Pt.reshape(-1,1)



#データの分割
from sklearn.model_selection import train_test_split
date_1, date_2 = train_test_split(date, test_size=test_rate, shuffle=False)
train, test = train_test_split(Pt,test_size=test_rate,shuffle=False)



#0-1への正規化の定義
from sklearn.preprocessing import MinMaxScaler

def scale(train, test):

    # change type
    train = train.astype(np.float32)
    test = test.astype(np.float32)
   
    # scale inputs
    sclr = MinMaxScaler()
    train = sclr.fit_transform(train)

    # scale labels
    tsclr = MinMaxScaler()
    test   = tsclr.fit_transform(test)


    return train, test, sclr, tsclr

#正規化
train, test, sclr, tsclr = scale(train, test)


def create_dataset(dataset, look_back=1, pred_time=1):
    dataX, dataY = [], []
    for i in range(len(dataset)-look_back-pred_time):
        xset = []
        for j in range(dataset.shape[1]):
            a = dataset[i:(i+look_back), j]
            xset.append(a)
        dataY.append(dataset[i + look_back + pred_time, 0])      
        dataX.append(xset)
    return np.array(dataX), np.array(dataY)

look_back = 1
pred_time = 5
x_train, t_train = create_dataset(train, look_back, pred_time)
x_test, t_test = create_dataset(test, look_back, pred_time)


#各種インポート
import keras 
from keras.models import Sequential, Model
from keras.layers import Input, Dense, Activation, LSTM
from keras.callbacks import EarlyStopping
import math
from sklearn.metrics import mean_squared_error, mean_absolute_error


#モデルの定義
Inputs = Input(shape = (x_train.shape[1], x_train.shape[2]), dtype='float32')
lstm = LSTM(128)(Inputs)
Outputs = Dense(1, activation='linear')(lstm)

model = Model(inputs=[Inputs], outputs=[Outputs])
model.compile(loss='mean_squared_error', optimizer='adam', metrics=['mean_squared_error'])

es = EarlyStopping(monitor='val_loss',
                   patience=10,
                   verbose=1)

#モデルの学習
history = model.fit(x_train, t_train, epochs=10000, batch_size=20, verbose=1, shuffle=False, validation_split=0.1, callbacks=[es])


#予測
pred = model.predict(x_test)             #予測値
obs = t_test.reshape(-1,1)               #観測値


#正規化を戻す
obs_unscale=tsclr.inverse_transform(obs)
pred_unscale=tsclr.inverse_transform(pred)


#モデルの評価指標
RMSE = math.sqrt(mean_squared_error(pred_unscale,obs_unscale))
ape = mean_absolute_error(pred_unscale, obs_unscale)
MAPE =ape * 100/len(obs_unscale)
print("RMSE=",RMSE)
print("MAPE=",MAPE)


#配列 → DataFrame
dfd = pd.DataFrame(date_2)                  #日付
dfp = pd.DataFrame(pred_unscale)            #予測値
dfo = pd.DataFrame(obs_unscale)             #観測値


#最初の1日を削除
dfd = dfd[int(time):].reset_index(drop=True)
dfp = dfp[int(time - pred_time - look_back):].reset_index(drop=True)
dfo = dfo[int(time - pred_time - look_back):].reset_index(drop=True)


#predとobsのDataFrameを一つにまとめる
df = pd.concat([dfd, dfp, dfo], axis=1).dropna()          #axis=1で横方向に連結


#DataFrameの行名の変更
df.columns = ['date_time', 'Pt_pred', 'Pt_obs']


#csvに書き出し
df.to_csv('C:/Users/temp/Desktop/result/1V/30min/unit/output.csv')

試したこと

ハイパーパラメータの設定や，学習回数を増やすなどをしましたが，
上記の図のような結果しか得られませんでした。

Answer 1

こちらの質問と同等の事象と思われます。
https://teratail.com/questions/293157

ひとつの変数だけの推移で「少し後」をLSTMで予測すると、単純に最新の入力値を出力するだけの予測になりがちです。説明変数を増やすか、モデルそのものを（LSTMから）変えた方が良いです。

個人的には、LSTMは、大きな傾向や周期を読み取るのは得意ですが、直近の動きを予測するのは苦手と感じます。交通量の直近の予測は、周辺何kmかの交通量測定ポイントの値とかを説明変数に加え、LSTM以外の手法を使った方が、うまく当たると思います。直近の動きを周辺測定値からLSTM以外の手法で予測しつつ、LSTMでの大きな周期を予測するモデルを、アンサンブルすると、よい予測ができるように思います。

追加情報

この事情は、歴史的に？有名で、以下の記事が何度も引用されています。
ディープラーニングで株価予測するときの罠
特に学習時のaccの値を見ることで、同じ事象なのかが分かると思います。

Comments

[stu824]

回答ありがとうございます。
説明変数を増やすというのは，
例えば予測したい地点のデータの他に周辺地点のデータを使用するという意味でしょうか？
それとも，t,t-1,…,t-5のデータを用いてt+1の予測をする時のt,t-1…の部分を増やすという意味でしょうか？
前者である場合，現状モデル自体に誤りがあるというよりはそもそも学習の限界ということでしょうか？

理解が及ばず申し訳ありません。

[toast-uz]

前者です。現在の結果は、30分後はノイズ要素が強く、現状値ままとして予測するのが最も確からしいという解釈ですね。学習の限界であるように思います。なので、LSTMは1日とか1週間とかの大きなトレンドを予測するのに留めて、短期予測は、周辺地点のデータをソースに追加する等、別の手段を探るべきと思います。時系列予測=RNNやLSTM、という固定概念から離れてください。

[stu824]

ありがとうございます。
確かに時系列の予測にはLSTMがいいと頭でっかちになっていたと思います。
追加のデータ他のモデルも試してみようと思います。
丁寧な回答をしていただきありがとうございました。大変助かりました。

[toast-uz]

こちらの回答とその質疑も参考にしてください。時系列は時系列専用の手法で、と思い込みやすいようです。
https://teratail.com/questions/298396

[stu824]

重ね重ねありがとうございます。
参考にさせていただきます。