質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.53%

  • Python

    11317questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    894questions

  • Keras

    445questions

  • Jupyter

    399questions

LSTMでテストデータの正答率が不自然に良すぎるのは何故でしょうか。

受付中

回答 1

投稿 編集

  • 評価
  • クリップ 2
  • VIEW 1,506

KineSaku

score 3

リンク内容イメージ説明
LSTMを使って有る時系列データの予測を行ってみたところ、
不自然に正答率が良すぎる結果となってしまいました。
CSVから読み込んだデータをトレーニング用データとテスト用データに分割し、
トレーニング後にテスト用データを使ってpredictさせています。
Look_backは12で学習は300回行いました。
predictの結果としましては
トレーニングが13.44 RMSEに対して
テストデータ予測時が8.96 RMSEとなりました。
トレーニング用の部分とテスト予測時のデータを見比べてみると
周期的ではないように見えますし、ここまでうまく予測できるはずはないのでは?と考えております。

X(t-11) ~ X(t) までのデータからX(t+1) を予測するというのを繰り返していると考えているのですが、
以下

ソースコードと予測結果のグラフを観て何かおかしな箇所有りますでしょうか?
※グラフはブルーが実際のデータ
オレンジがトレーニング後 トレーニングデータを用いてpredictしたものになります。
緑はテストデータを用いてpredictを行った結果です。

結果が間違っているのでは?と思っておりますが、何か助言頂けないでしょうか?

アドバイスよろしくお願いいたします。

import numpy
import matplotlib.pyplot as plt
import matplotlib.ticker as tick # 目盛り操作に必要なライブラリを読み込みます
import pandas
import math
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
from sklearn.preprocessing import MinMaxScaler
from sklearn.metrics import mean_squared_error

#データ読み込み Yは最初の列に配置する
dataframe = pandas.read_csv('/root/userspace/Hiwasawa/lesson3/LSTM/LSTMData3.csv', usecols=[2])


plt.plot(dataframe.iloc[:,0],label = "DataA")

plt.legend()
#目盛り関係
plt.gca().yaxis.set_major_locator(tick.MultipleLocator(500))
plt.show()

print(dataframe.head())

dataset = dataframe.values
dataset = dataset.astype('float32')

# normalize the dataset
scaler = MinMaxScaler(feature_range=(0, 1))
dataset = scaler.fit_transform(dataset)

# split into train and test sets
train_size = int(len(dataset) * 0.67)
test_size = len(dataset) - train_size
train, test = dataset[0:train_size,:], dataset[train_size:len(dataset),:]
print(len(train), len(test))

# convert an array of values into a dataset matrix
# if you give look_back 3, a part of the array will be like this: Jan, Feb, Mar
def create_dataset(dataset, look_back=1):
    dataX, dataY = [], []
    for i in range(len(dataset)-look_back-1):
        xset = []
        for j in range(dataset.shape[1]):
            a = dataset[i:(i+look_back), j]
            xset.append(a)
        dataY.append(dataset[i + look_back, 0])      
        dataX.append(xset)
    return numpy.array(dataX), numpy.array(dataY)

# reshape into X=t and Y=t+1
look_back = 12
trainX, trainY = create_dataset(train, look_back)
testX, testY = create_dataset(test, look_back)
print(testX.shape)
print(testX[0])
print(testY)

# reshape input to be [samples, time steps(number of variables), features] *convert time series into column
trainX = numpy.reshape(trainX, (trainX.shape[0], trainX.shape[1], trainX.shape[2]))
testX = numpy.reshape(testX, (testX.shape[0], testX.shape[1], testX.shape[2]))


# create and fit the LSTM network
model = Sequential()
model.add(LSTM(4, input_shape=(testX.shape[1], look_back)))    #shape:変数数、遡る時間数
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(trainX, trainY, epochs=300, batch_size=1, verbose=2)

# make predictions
trainPredict = model.predict(trainX)
testPredict = model.predict(testX)
pad_col = numpy.zeros(dataset.shape[1]-1)

# invert predictions
def pad_array(val):
    return numpy.array([numpy.insert(pad_col, 0, x) for x in val])

trainPredict = scaler.inverse_transform(pad_array(trainPredict))
trainY = scaler.inverse_transform(pad_array(trainY))
testPredict = scaler.inverse_transform(pad_array(testPredict))
testY = scaler.inverse_transform(pad_array(testY))

# calculate root mean squared error
trainScore = math.sqrt(mean_squared_error(trainY[:,0], trainPredict[:,0]))
print('Train Score: %.2f RMSE' % (trainScore))
testScore = math.sqrt(mean_squared_error(testY[:,0], testPredict[:,0]))
print('Test Score: %.2f RMSE' % (testScore))

print(testY[:,0])
print(testPredict[:,0])
# shift train predictions for plotting
trainPredictPlot = numpy.empty_like(dataset)
trainPredictPlot[:, :] = numpy.nan
trainPredictPlot[look_back:len(trainPredict)+look_back, :] = trainPredict
# shift test predictions for plotting
testPredictPlot = numpy.empty_like(dataset)
testPredictPlot[:, :] = numpy.nan
testPredictPlot[len(trainPredict)+(look_back*2)+1:len(dataset)-1, :] = testPredict
# plot baseline and predictions
plt.plot((scaler.inverse_transform(dataset))[:,0])
plt.plot(trainPredictPlot[:,0])
plt.plot(testPredictPlot[:,0])
plt.show()
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • mkgrei

    2018/03/24 01:11

    データはなにを使っていますか?独自データの場合差し支えなければ載せていただけないでしょうか。

    キャンセル

  • KineSaku

    2018/03/24 01:26

    コメントありがとうございます。 データですが、teratailへのアップロードの方法が解りませんでしたので、GoogleDriveのリンクを張らせて頂きます。

    キャンセル

  • キャンセル

  • KineSaku

    2018/03/24 01:29

    CSVの3列目DataAが対象のデータとなります。

    キャンセル

回答 1

+1

試してみました。

結論から言いますと、問題のセッティングに難がありました。

この評価値をみるのなら、学習したモデルの値よりもTestY[1:]とTestY[:-1]の値のほうがよくなります。

従来の正しいモデルでは前日との差を正しく学習しようとします。


TestとTrainの評価関数の値はひとえにTestデータの質によるものです。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/03/24 18:36

    mkgrei様

    わざわざ試して頂き大変ありがとうございました。
    >>この評価値をみるのなら、学習したモデルの値よりもTestY[1:]とTestY[:-1]の値のほうがよくなります。

    私もRMSEの値を観て何故学習時よりも予測時の方が評価が良いのか疑問に思っておりました。

    >>結論から言いますと、問題のセッティングに難がありました
    出来ましたらもう少し噛み砕いてご説明頂ければ助かります。
    テストデータがRNNを使うのに相性が悪いという事でしょうか?
    また、そのような場合なぜ予測時に出力されるデータが実データとピッタリフィッティングされてしまうのでしょうか?
    kerasの中で予測が上手く行かない場合は実データを出力するような事が行われているということでしょうか?

    キャンセル

  • 2018/03/24 18:45

    実はこのモデル、直前のデータを繰り返すというのよりも悪くなっています。
    ですので、うまく学習できていないのです。

    正しくモデルを組むには時間の差を予測するものが必要です。

    今の学習の仕方だと、前の時間との差分というのが値自体と比較すると小さすぎるので、予測の悪さがカモフラージュされています。
    つまり予測したい値が、ベースラインから比べると誤差にしか見えない状態なのです。

    もう少ししっかりしたコードを後ほど追記いたします。

    キャンセル

  • 2018/03/24 20:40

    mkgrei様

     お返事ありがとうございます。
    なるほどですね。何となく仰っていることが解ってきたような気がします。

    つまり実は予測が上手くいっていないけれど、評価の仕方が良くないので
    RMSEだと良い評価になってしまっている。ということでしょうか?

    キャンセル

  • 2018/03/24 21:47

    おっしゃるとおりです。
    今のままでは直前の値と予測したい値の相関が大きすぎます。
    差を一度計算してから、その相関を消すことによって正しいモデルになります。

    キャンセル

  • 2018/03/24 23:44

    コメントありがとうございます。
    グラフを拡大してみるまで気づかなかったのですが、
    確かに直前のデータをそのまま出力しておりました。
    ワンテンポずれたようなグラフになっているだけという事が良く解りました。
    教えて頂き本当にありがとうございます。

    因みになのですが、私はグラフを拡大するまでこのことに気づきませんでしたが、
    mkgrei様はどのようにしてこの事に気づかれたのでしょうか?

    具体的に観るべき数値とその解釈を教えて頂きたいです。
    長々とすみませんが、ようやく理解が進み始めた気がします。
    何卒よろしくお願いいたします。

    キャンセル

  • 2018/03/25 11:42

    確かめたことの順番は:

    プラスアルファの情報がないのにさすがに精度良く学習できるのはおかしいという前提からはじめました。

    モデルが既にあったので、最初にデータのリークがないか確かめました。
    Scalerがあったので、スケール変換によって値の大きさに変調がないのかを次に確かめました。

    それらに問題がなかったので、モデルを見てみると、活性化関数がなかったので、これはますますおかしいということがわかりました。

    グラフをみる限り、結構ランダムなデータだったので、予測がうまく行かなさそうです。
    そこで、ベースラインのモデルと比較してみようと思いました。

    時系列データの場合、最も簡単なモデルは線形以前に、直前の値を繰り返すというものです。

    そこで、直前の値を繰り返すだけで元のモデルより評価値がよくなっていました。

    すると時系列データを差分を予測していないせいであることがわかったわけです。

    ---

    本来定量的な評価値に意味を持たせるためには、ベースラインを設ける必要があります。
    例えば分類問題の場合、全部1つのクラスに分類した場合の評価値をもっておくわけです。
    時系列の場合デフォルトを0に持ってきてから、オール0の値を比較します。

    キャンセル

  • 2018/03/25 18:38

    コメントありがとうございます。
    なるほどですね。確認した順序、とても参考になります。
    >>すると時系列データを差分を予測していないせいであることがわかったわけです。
    早速前進差分による微分値で試してみたところ少し改善したように思います。

    また、活性化関数ですが、kerasのLSTMのページを観ると
    keras.layers.LSTM(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', unit_forget_bias=True, kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, recurrent_constraint=None, bias_constraint=None, dropout=0.0, recurrent_dropout=0.0, implementation=1, return_sequences=False, return_state=False, go_backwards=False, stateful=False, unroll=False)

    となっているのですが、 activation='tanh' これが初期値ということでしょうか?
    基礎的な質問で申し訳ありません。

    何も設定していない場合どうなるのでしょうか?

    キャンセル

  • 2018/03/25 18:58

    失礼しました。
    おっしゃる通り、何も設定しなかった場合、デフォルト値になり、LSTMの場合tanhですね。

    Denseなどがactivation=Noneがデフォルトなので、思い込みがありました。
    勉強になりました。
    ありがとうございます。

    キャンセル

  • 2018/03/27 01:40

    こちらこそ大変貴重なアドバイスを有難うございます。
    現状1,0で上がるか下がるかを判定させるように問題を置き換えることで
    50%くらいの正答率は出るようになりました。
    One-Hot化してもう少し細かい結果も解るように改善してみたいと思っております。

    キャンセル

同じタグがついた質問を見る

  • Python

    11317questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • TensorFlow

    894questions

  • Keras

    445questions

  • Jupyter

    399questions