時系列データの予測値を正しい値で得たい

Question

前提・実現したいこと

詳解ディープラーニングという参考書のコードを参考にLSTMを用いた時系列データの
予測を行いたいのですが、本来なら0～1の範囲内で増減するはずの
予測値の値がほぼ一定になってしまいます。
なぜそうなるのか、理解できていないので皆様のお力をお借りしたい所存です。

■■な機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

'''
5.2.6 LSTM - Keras (sinæ³¢)
'''


import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
import tensorflow as tf
from tensorflow.keras import datasets
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, LSTM
from tensorflow.keras import optimizers
from tensorflow.keras.callbacks import EarlyStopping
import sp波動法


if __name__ == '__main__':
    np.random.seed(123)
    tf.random.set_seed(123)

    '''
    1. データの準備
    '''
    N=0
    f = sp波動法.file
    for i in range(len(f)):
        if np.isnan(sp波動法.file['60日移動平均'][i]):
            N+=1
        else:
            break
    #print(N)
    length_of_sequences = len(f)

    maxlen = 60

    x = []
    t = []

    for i in range(N,length_of_sequences - maxlen):
        x.append(sp波動法.kairiritu[i:i+maxlen])
        t.append(sp波動法.jousyou[i+maxlen])

    x = np.array(x).reshape(-1, maxlen, 1)
    t = np.array(t).reshape(-1, 1)

    x_train, x_val, t_train, t_val = \
        train_test_split(x, t, train_size=0.8, test_size=0.2, shuffle=False)
    #print(x)
    #print(t)
    # print(x_train.shape)
    # print(x_val.shape)
    # print(t_train.shape)
    # print(t_val.shape)

    '''
    2. モデルの構築
    '''
    model = Sequential()
    model.add(LSTM(50, activation='tanh',
                   recurrent_activation='sigmoid',
                   kernel_initializer='glorot_normal',
                   recurrent_initializer='orthogonal'))
    model.add(Dense(1, activation='linear'))

    '''
    3. モデルの学習
    '''
    optimizer = optimizers.Adam(learning_rate=0.001,
                                beta_1=0.9, beta_2=0.999, amsgrad=True)

    model.compile(optimizer=optimizer,
                  loss='mean_squared_error')

    es = EarlyStopping(monitor='val_loss',
                       patience=10,
                       verbose=1)

    hist = model.fit(x_train, t_train,
                     epochs=1000, batch_size=100,
                     verbose=2,
                     validation_data=(x_val, t_val),
                     callbacks=[es])

    '''
    4. モデルの評価
    '''
    gen = [None for i in range(maxlen)]
    cnt1=0
    cnt2=0
    cnt3=0
    cnt4=0
    num=0
    #print(cnt)
    #z = x[:1]
    

    for i in range(len(f) - maxlen):
        z1 = x[:i+N]
        z = z1.reshape(-1, maxlen, 1)
        #print(z)
        preds = model.predict(z[-1:])
        #z = np.append(gen, preds)[1:]
        
        gen.append(preds[0,0])
        
    #print(gen)

    for i in range(len(f) - maxlen):
        if gen[i] is None:
            continue
        if sp波動法.jousyou[i]==1:
            if gen[i] >= 0.5:
                cnt1+=1
            else:
                cnt2+=1
        else:
            if gen[i] < 0.5:
                cnt1+=1
            else:
                cnt2+=1
    正答率=cnt1/(cnt1+cnt2)
    print(正答率)
    
    fig = plt.figure()
    plt.rc('font', family='serif')
    #plt.xlim([0, len(f)])
    #plt.ylim([-0.2, 1.2])
    plt.plot(range(len(f)), sp波動法.jousyou,
             color='gray',
             linestyle='--', linewidth=0.5)
    plt.plot(range(len(f)), gen,
             color='black', linewidth=1,
             marker='o', markersize=1, markerfacecolor='black',
             markeredgecolor='black')
    # plt.savefig('output.jpg')
    plt.show()

試したこと

補足情報（FW/ツールのバージョンなど）

データはデューカスコピーから円ドルのBIDデータを一日足で二年分取得しています。
環境はanaconda3でインストールしたpython3をspyderで記述しています。

Comments

[y_waiwai]

このままではコードが読めないので、質問を編集し、<code>ボタンを押し、出てくる’’’の枠の中にコードを貼り付けてください

[yapimaru]

ご指摘ありがとうございます。
修正しました。

[jbpb0]

最後のplotは、どんな風になるのでしょうか？

[yapimaru]

0.47付近でほぼ一定の値が図示されます。
学習データのxには乖離率が入りこの値は1.0±0.02程度の値で
教師データのtには上昇度が入りこの値は取得したデータの傾きが正の時は1、負の時は0となっています。

[jbpb0]

hist = model.fit(...
を実行している時に、各Epochで「loss:」と「val_loss:」の数値が表示されますが、それはEpochが進んだら減っていきますでしょうか？

もし、EarlyStoppingが働いてすぐに終わるなら、model.fit()の最後の「callbacks=[es]」を無効にして実行してみてください

もし、Epoch数が増えても「loss:」と「val_loss:」が減らないなら、学習がうまくできてませんので、学習後の予測もうまくできません

[yapimaru]

データの期間が短い時は直ぐに終わってしまいますが長く取ると誤差も減っていき最終的には0.24辺りに落ち着きます

[jbpb0]

「データの期間」は「maxlen」のことでしょうか？
それとも、

> 円ドルのBIDデータを一日足で二年分取得

の「二年」のことでしょうか？

「データの期間」を長くしたら、「loss:」だけではなく「val_loss:」も減りますでしょうか？

「データの期間」が学習時のval_lossにも効くならですが、その場合は学習後の予測精度にも効きそうですが、それを変えても、下記は変わらないのでしょうか？

> 0.47付近でほぼ一定の値

[yapimaru]

データの期間は取得しているcsvファイルのデータの期間なので二年のところを18年分とれば誤差は減り、
sp波動法のsp波動率の値を変更したら、それっぽい値になりました。
ありがとうございます。

[jbpb0]

質問内容とは直接は関係無いかもしれませんが、コードでよく分からないところがあります

「1. データの準備」の
for i in range(N,length_of_sequences - maxlen):
x.append(sp波動法.kairiritu[i:i+maxlen])
で、「sp波動法.kairiritu」の最初のN個を飛ばしてxに格納しているのに、「4. モデルの評価」の
for i in range(len(f) - maxlen):
z1 = x[:i+N]
で、xから取り出すのに再びNが出てきます
ここでNが出てくる理由がよく分かりません

また、「1. データの準備」の
for i in range(N,length_of_sequences - maxlen):
t.append(sp波動法.jousyou[i+maxlen])
では、xと同様に最初のN個を飛ばしてtに格納していて、x, tで学習しているので、学習後の予測では「sp波動法.jousyou」の最初のN個は関係無いと思うのですが、「4. モデルの評価」の
for i in range(len(f) - maxlen):
if gen[i] is None:
のあたりでは、tではなく「sp波動法.jousyou」を使っていて、そこにはNは出てきません
最初のN個を飛ばして使わなくてもいいのでしょうか？
というか、tを使えばいいのではないのでしょうか？

以上、コード見てて気になったところを書きましたけど、コード動かして確認してるのではないし、コードを完全に理解しているわけでもないので、的外れな指摘だったらごめんなさい

Answer 1

hist = model.fit(...
を実行している時に、各Epochで「loss:」と「val_loss:」の数値が表示されますが、もし、Epoch数が増えても「loss:」と「val_loss:」が減らないなら、学習がうまくできてませんので、学習後の予測もうまくできません