kerasを用いたRNNについてpredictがうまく機能しない

Question

kerasを用いたRNNのプログラミングを勉強しております。

RNNを用いて乗客数のグラフの予測をしているサイトがありましたので、それをkerasで行なってみたいと思って以下のプログラムを作ってみております。predictが全く予測していなく、困っております。
以下RNN学習のために試しておりますプログラムです。

df = pd.read_csv('international-airline-passengers.csv',skipfooter=3)

data=np.array(data)

sabun_data=[]
for i in range(len(data)-1):
    temp_sabun=data[i+1]-data[i]
    sabun_data.append(temp_sabun)
sabun_data=np.array(sabun_data)
data=sabun_data
#data.shapeは(143)です。

#sinwaveを予測するプログラミングを参考にしてます。

#5個ずつのデータサイズごとにX,yを作成する。
X_data=[]
target=[]

manabu_len=5
for i in range(0,len(data)-manabu_len):
    X_data.append(data[i:i+manabu_len])
    target.append(data[i+manabu_len])

from sklearn.model_selection import train_test_split
X=np.array(X_data).reshape(len(X_data),manabu_len,1)
y=np.array(target).reshape(len(X_data),1)
(train_X,test_X,train_y,test_y)=train_test_split(X,y,test_size=0.2)

from keras.layers import LSTM,SimpleRNN
from keras.models import Sequential
from keras.optimizers import Adam
from keras.layers import Dense,Activation

n_in=1
n_hidden=20
n_out=1
model=Sequential()
model.add(LSTM(n_hidden,input_shape=(manabu_len,n_in),kernel_initializer="random_normal"))
model.add(Dense(n_out))
model.add(Activation("linear"))
model.compile(loss="mean_squared_error",optimizer="Adam")
model.fit(X,y,batch_size=20,epochs=100,validation_data=(test_X,test_y))


#modelを参考にして、predictをグラフ化してみる。

#予測したデータをpredictに格納してグラフにしてみる。 
in_=X[:1]
predicted=[] 
for i in range(len(data)-manabu_len):
    out_=model.predict(in_)
    in_ = np.vstack( (in_.reshape(manabu_len,n_in)[1:], out_)).reshape(1, manabu_len, n_in)
    predicted.append(out_.reshape(-1))
plt.plot(data, label="original")
plt.plot(predicted, label="predicted")
plt.legend()
plt.show()
コード

他のサイトでは、同じdata数でtensorflow,tflearnでグラフに近似したpredictを出せているみたいなのですが、自分のプログラミングの問題がどこにあるのかわからないでおります。SimpleRNNなどもためしてみましたが同じ状況でした。
RNNについて初心者ですが、アドバイスをいただけますと幸いです。よろしくお願いいたします。

==========================================================
追記

アドバイスをいただきまして差分データから特徴量と教師データにすることで予測できるようになってきました.
ありがとうございます。
#差分データ予想

差分データから得られた元データと予測の比較

ただ、手法によるためか精度には課題が多いようです。進むにつれてかなりずれていきました。
精度を上げられるようにするにはどうすべきか、いろいろ調べてみます。

Comments

[mkgrei]

他のサイトとは？同じデータを使っているんですか？

[yohehe]

ボストンの乗客数というデータを使用させていただき、RNNについて勉強しております。https://datamarket.com/data/set/22u3/international-airline-passengers-monthly-totals-in-thousands-jan-49-dec-60#!ds=22u3&display=line

[yohehe]

追記ですが、yを設定する際に使用しているinput_lenの数値を大きくしても同じようになってしまっています。

Answer 1

解決済みですので、参考まで。
時系列データをモデル化する際、以下の考慮について事前分析する必要があります。
１．定常性の有無とその調整
定常性とはおおまかにいうと、一定の数値を中心に一定範囲内で安定的に振幅している状態のことをいいます。この条件を満たしていないと時系列モデルによる予測値がズレやすくなります。今回の場合、時間が進むにつれて振幅幅が大きいのでこれをうまく調整する必要があります。推測でしかありませんが、np.logを適用して振幅が小さくなるようにしたほうがいいかと思います。
２．モデルの構造
通常は自己相関（つまり、過去の値に係数をかけるイメージ）でうまくいくのですが、トレンドが含まれているようなデータの場合は、過去のデータに加算するようなモデルのほうがうまくいきます。mkgreiさんの指摘はこのケースで、本データの場合、右肩上がりというトレンドを含んでいるようなので階差を取るとうまくいきます。ただし、階差がひとつでいいのかそれ以上なのかはケースバイケースなので、事前分析をした上でどの程度の階差を取るべきかを検討したほうがいいでしょう。
３．季節周期性の有無
本データの内容次第のところがありますが、月単位や日単位の場合、観光シーズンや週末は値が大きくなるといった季節周期性があるケースも考慮するべきかと思います。必要に応じて月や曜日などをダミー変数化してモデルに組み込むといいでしょう。

Comments

[yohehe]

R.shigemori様、アドバイス感謝致します。
階差である差分をもとに学習させてみたのですが、　教えていただきましたlogなどで振幅を小さくするという手法なども試してみたいと思います。
モデルの構造を事前に分析する際には、事前の分析が重要だとういうことが今回学べました。時系列分析について調べてみると、自己相関係数の推定などさまざまな手法があるのですね。
ダミー変数などでデータを増やすような手法については今のところやり方がわからないため、教えていただいた方法を一つずつ勉強していこうと思います。
ありがとうございます。

Answer 2

再現できません。

そもそも質問内のコードは正しく動くはずのないものです。
まず、データの形に問題があります。→エラーになる
そして、推定値の変数名が間違っています。→エラーになる

書き写したのですか？

---

とりあえず動くものを載せておくので参考にしてみてください。

import pandas as pd
import numpy as np
import keras
from keras.models import Sequential
from keras.layers import LSTM, Dense, Activation, Dropout
from keras.optimizers import Adagrad
import matplotlib.pyplot as plt
%matplotlib inline

data = pd.read_csv('international-airline-passengers.csv', skipfooter=3)
data = data.values[:, -1]
data = data[1:] - data[:-1]

inputdata = []
target = []
input_len = 5

for i in range(0, len(data)-input_len):
    inputdata.append(data[i:i+input_len])
    target.append(data[i+input_len])

from sklearn.model_selection import train_test_split

X = np.array(inputdata).reshape(-1, input_len, 1)
y = np.array(target).reshape(-1, 1)
(train_X, test_X, train_y, test_y) = train_test_split(X, y, test_size=0.2, shuffle=False)

n_in = 1
n_hidden = 50
n_out = 1
model = Sequential()
model.add(LSTM(n_hidden, input_shape=(input_len,n_in)))
model.add(Dense(100, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(5, activation='relu'))
model.add(Dense(100, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(n_out, activation='linear'))
opt = Adagrad()
model.compile(loss="mean_squared_error",optimizer=opt)

model.fit(train_X, train_y, batch_size=len(X)//10, epochs=50, validation_data=(test_X, test_y))

py = model.predict(train_X)
py_ = model.predict(test_X)

px = np.arange(predicted.shape[0])

fig, ax = plt.subplots(dpi=200)
ax.plot(y, label="original")
ax.plot(px[:len(py)], py, label="predicted_train", color='orange')
ax.plot(px[len(py):], py_, label="predicted_test", color='red')
plt.legend()
plt.grid()
plt.show()

Comments

[yohehe]

すみません。csvで読み込んで
df = pd.read_csv('international-airline-passengers.csv',skipfooter=3)
data=df['International airline passengers: monthly totals in thousands. Jan 49 ? Dec 60']
で読み込んで、動作はしているのですが。
epochs＝1000以上にしたとしても損失係数が一定から低下しないため、手法自体がこれではいけないかもしれません。

[mkgrei]

X=np.array(inputdata).reshape(len(data),input_len,1)
これ、エラーになりませんか？

...predicted.append(out_.reshape(-1))
.
.
.
plt.plot(predict, label="predicted")
このプロットしているものはなんですか？

もしjupyterなどを使用しているのであれば、過去の履歴から持ってきている可能性があるので、
何を見ているのか定かではありませんよ。

正しくコードを書き換えても今のままだとうまく学習できませんが、
そもそも今はそれ以前の状態です。

[yohehe]

プログラム修正しました。変数が変わっていることは何度か試しているだけで、特に意味ありません。jupiternotebook上で動作しています。
model.fitで学習させて、
Xのデータ1つずつをpredictに入れて、predictで分類器が予想したデータをout_としてグラフに起こせていると思ったのですが,,,reshape(-1)は(141,1,1)の3次元になっているため、次元数を落とすために使用しています。
そもそも全てがおかしいかもしれません。最初から検討してみます。。。

[yohehe]

mkgrei様ありがとうございます。

[mkgrei]

ポイントは元のデータの差分を最初に取ることです。

右肩上がりになってしまうので。

[yohehe]

勉強になります。RNNなどではそのままのデータから学習させる方法は望ましくないのですね。元データの差分を分類器に学習させられるようにプログラムを大幅に変更してみます。

[mkgrei]

追記についてですが、
この2枚めのグラフはどのようなものをプロットしているのでしょうか？
もし差分データの予測を累積して処理しているのであれば、場合によっては問題設定に難があります。

時系列データというのは未来を知ることはできませんが、過去を知ることができます。
ですので、予測する際にも、過去の実データを使って予測に使っていて、過去の予測データを予測に使っていません。
ですので、純粋な累計データではなく、1ステップ前の値と予測した差分値を算出する必要があります。
任意の時点ではそれ以前の正解値を知ることができるという前提が今のモデルにはあります。

ただ、上記を加味しても、今回のデータでは振幅が時間の経過に伴って増加しますので、振幅の増加率に対するモデルを追加するか、時間も特徴量として取り入れると良いかもしれません。
この点に関してはR.Shigemoriさんの回答を参考にされるとよいかと。