LSTMで得られた予測精度が不自然に高い

Question

前提・実現したいこと

初めてLSTMを用いて時系列予測を行ってみましたが、得られた予測結果の精度があまりに高く、不思議に思っています。
実際に入力期間を極めて短く設定するなどして検証してみたところ、RMSEおよびMAPEは共に大差の無い値をとりました。
この場合、どういった誤りが考えられるでしょうか？

コードは以下の記事を参考にしています。
Kerasで多変量LSTM-Qiita

予測した対象は下記のDataFrameにおける"Discharge"列です。

該当のソースコード

#ライブラリのインポートとデータの読み込み
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import math
from keras.models import Sequential
from keras.layers import Activation, Dense,Dropout,Flatten
from keras.layers import LSTM
from keras.utils.np_utils import to_categorical
from keras.callbacks import EarlyStopping,TensorBoard,ModelCheckpoint
from sklearn.preprocessing import MinMaxScaler
from sklearn.metrics import mean_squared_error

df = pd.read_csv('discharge_prediction.csv', index_col='Datetime')
df = df.iloc[:, [1,0,2]]
df.head()

|Datetime|Discharge|Inflow|Precipitation|
|:--|:--:|--:|
|2010-01-01 01:00:00|7.28|7.28|0.0|
|2010-01-01 02:00:00|7.28|15.09|0.0|
|2010-01-01 03:00:00|7.28|22.90|0.0|
|2010-01-01 04:00:00|7.28|7.28|0.0|
|2010-01-01 05:00:00|7.28|20.07|0.0|

dataset = df.values 

# データセットの正規化
scaler = MinMaxScaler(feature_range=(0, 1))
dataset_scaled = scaler.fit_transform(dataset)

# 訓練データとテストデータに分割
train_size = int(len(dataset_scaled) * 0.7)
test_size = len(dataset_scaled) - train_size
train, test = dataset_scaled[0:train_size,:], dataset_scaled[train_size:len(dataset_scaled),:]
print(len(train), len(test))

61353 26295

#値の行列をデータセットに用いる形に変換
def create_dataset(dataset, look_back=1):
    dataX, dataY = [], []
    for i in range(len(dataset)-look_back-1):
        xset = []
        for j in range(dataset.shape[1]):
            a = dataset[i:(i+look_back), j]
            xset.append(a)
        dataY.append(dataset[i + look_back, 0])      
        dataX.append(xset)
    return np.array(dataX), np.array(dataY)

# X=t，Y=t+1の形に変換
look_back = 24
trainX, trainY = create_dataset(train, look_back)
testX, testY = create_dataset(test, look_back)
print(testX.shape)
print(testX[0])
print(testY)

# 入力を [samples, time steps(number of variables), features] にリシェイプ
trainX = np.reshape(trainX, (trainX.shape[0], trainX.shape[1], trainX.shape[2]))
testX = np.reshape(testX, (testX.shape[0], testX.shape[1], testX.shape[2]))
print(testX)

#モデルの構築
from keras.models import Sequential
from keras.layers import Activation, Dense,Dropout,Flatten
from keras.layers import LSTM
from keras.utils.np_utils import to_categorical
from keras.callbacks import EarlyStopping,TensorBoard,ModelCheckpoint

es_cb = EarlyStopping(monitor='loss', patience=30, verbose=0, mode='auto')
modelCheckpoint = ModelCheckpoint(filepath = "weights.hdf5",monitor='loss',verbose=0,save_best_only=True,save_weights_only=False,mode='min',period=1)

model = Sequential()  
model.add(LSTM(50, input_shape=(testX.shape[1], look_back), return_sequences=False,go_backwards=True))    
model.add(Dense(1))
model.add(Activation("linear"))  
model.compile(loss="mean_squared_error", optimizer="rmsprop")

#モデルの学習
model.fit(trainX, trainY, epochs=1500, batch_size=100,verbose=2, callbacks=[es_cb,modelCheckpoint])

# 予測値を出力
trainPredict = model.predict(trainX)
testPredict = model.predict(testX)
pad_col = numpy.zeros(dataset.shape[1]-1)

# 出力を正規化前に戻す
def pad_array(val):
    return numpy.array([numpy.insert(pad_col, 0, x) for x in val])
    
trainPredict = scaler.inverse_transform(pad_array(trainPredict))
trainY = scaler.inverse_transform(pad_array(trainY))
testPredict = scaler.inverse_transform(pad_array(testPredict))
testY = scaler.inverse_transform(pad_array(testY))

# RMSEとMAPEを算出
trainScore_RMSE = math.sqrt(mean_squared_error(trainY[:,0], trainPredict[:,0]))
print('Train Score: %.2f RMSE' % (trainScore_RMSE))
testScore_RMSE = math.sqrt(mean_squared_error(testY[:,0], testPredict[:,0]))
print('Test Score: %.2f RMSE' % (testScore_RMSE))

trainScore_MAPE = np.mean(np.abs((trainPredict[:,0] - trainY[:,0]) / trainY[:,0])) * 100
print('Train Score: %.2f MAPE' % (trainScore_MAPE))
testScore_MAPE = np.mean(np.abs((testPredict[:,0] - testY[:,0]) / testY[:,0])) * 100
print('Test Score: %.2f MAPE' % (testScore_MAPE))

Train Score: 0.81 RMSE
Test Score: 3.06 RMSE
Train Score: 8.77 MAPE
Test Score: 5.80 MAPE

Comments

[y_waiwai]

どこがどうおかしいのか具体的に提示しましょう。
おかしいような気がする、ではどーにもできません

[退会済みユーザー]

ご指摘ありがとうございます。

[quickquip]

お礼を言う必要はいっさいありません。質問に追記しましょう。

[退会済みユーザー]

具体的にというのは難しいですが、質問をすでに編集済みです。これで回答がつかないのであれば仕方ないという考えです…。申し訳ありません。

Answer 1

今の質問だと

常に7.28を出力すればいい問題だから一瞬で学習できるというだけなのでは?
LSTMなんて本当は必要じゃなくて直前の1つのパラメータに依存していて、Dense層1個でも一瞬で当たる、とかそういうことじゃないですか?

となります。

（あなたが何を不思議に思っているのかを説明できないなら、何が回答になるのか他の人間には決してわかりませんよ）

Comments

[退会済みユーザー]

ご回答ありがとうございます。
データに関してですが、単純に投稿時にdatetime列の記入にミスがありましたので修正しました。discharge列の値は変化しますが、偶然初めの数十行が同じ値をとっています。紛らわしくてすみません。
質問が抽象的になってしまっており、回答が難しい状態になっていることは十分に理解していますが、これ以上どうすればよいのか正直わかりません。申し訳ありません…。

[quickquip]

> 質問が抽象的になってしまっており、回答が難しい
そうではなくてあなたが何を不思議に思っているのかわからないと言っているのです。

今のところ「今日のテストの問題の5問目の答えが10になるのが不思議です」とだけ聞かれているレベルの理不尽さです。「問題の方を書け」「何が不思議なのか書け」って答えますよね?

Answer 2

まずはデバッグできる環境を揃えましょう

コードの任意の行で実行を止め、変数の中身を参照できます。
また、そこから１行づつ実行させてコードの流れや変数の変化を見ることができます

そうすれば、アテずっぽでコードを書かなくて済むようになります。
また、自分の組んだコードのどこがおかしいのかと、アカの他人に聞かなくて済むようになります

Comments

[退会済みユーザー]

ご回答ありがとうございます。
コードの間違いについて議論しているわけではありません。