機械学習(RNN、LSTM、GRU)でsin波上の次の点が正になるか負になるかの2値分類の予測をしたい

実現したいこと

生成したノイズのあるsin波の連続した点のy座標の値25個を入力として、その次の点のy座標が正になるか負になるかを予測したいです。

現状

正解の値は予測は正ならば1、負か0であれば0として、モデルの出力はsigmoid関数を用いて次の点が正である確率を出力するようにしています。
プログラム自体はエラーなく実行できるのですが、予測した値はすべて1(正である)となってしまいます。
どうすれば正しく予測することができるか、ご教示いただけますと幸いです。

コード

python
1import numpy as np
2import matplotlib.pyplot as plt
3from sklearn.model_selection import train_test_split
4import tensorflow as tf
5from tensorflow.keras import datasets
6from tensorflow.keras.models import Sequential
7from tensorflow.keras.layers import Dense, GRU
8from tensorflow.keras import optimizers
9from tensorflow.keras.callbacks import EarlyStopping
10
11
12if __name__ == '__main__':
13    np.random.seed(123)
14    tf.random.set_seed(123)
15
16    '''
17    1. データの準備
18    '''
19    def sin(x, T=1000):
20        return np.sin(2.0 * np.pi * x / T)
21
22    def toy_problem(T=1000, ampl=0.05):
23        x = np.arange(0, 2*T + 1)
24        noise = ampl * np.random.uniform(low=-1.0, high=1.0,
25                                         size=len(x))
26        return sin(x) + noise
27
28    T = 1000
29    f = toy_problem(T).astype(np.float32)
30    length_of_sequences = len(f)
31    maxlen = 25
32
33    x = []
34    t = []
35
36    for i in range(length_of_sequences - maxlen):
37        x.append(f[i:i+maxlen])
38        t.append(f[i+maxlen])
39    
40    print(t)
41    
42    for k in range(len(t)):
43        if t[k] > 0:
44            t[k] = 1
45        else:
46            t[k] = 0
47    print(t)
48
49    x = np.array(x).reshape(-1, maxlen, 1)
50    t = np.array(t).reshape(-1, 1)
51    print(t)
52    x_train, x_val, t_train, t_val = \
53        train_test_split(x, t, test_size=0.2, shuffle=False)
54
55    '''
56    2. モデルの構築
57    '''
58    model = Sequential()
59    model.add(GRU(500, activation='relu',
60                  recurrent_activation='sigmoid',
61                  kernel_initializer='he_normal',
62                  recurrent_initializer='orthogonal'))
63    
64    model.add(Dense(1, activation='sigmoid'))
65
66    '''
67    3. モデルの学習
68    '''
69    optimizer = optimizers.Adam(learning_rate=0.001,
70                                beta_1=0.9, beta_2=0.999, amsgrad=True)
71
72    model.compile(optimizer=optimizer,
73                  loss='binary_crossentropy',  metrics=['accuracy'])
74
75    es = EarlyStopping(monitor='val_loss',
76                       patience=10,
77                       verbose=1)
78
79    hist = model.fit(x_train, t_train,
80                     epochs=1000, 
81                     verbose=2,
82                     validation_data=(x_val, t_val),
83                     callbacks=[es])
84
85    '''
86    4. モデルの評価
87    '''
88    # sin波の予測
89    sin = toy_problem(T, ampl=0.)
90    gen = [None for i in range(maxlen)]
91
92    z = x[:1]
93
94    # 逐次的に予測値を求める
95    for i in range(length_of_sequences - maxlen):
96        preds = model.predict(z[-1:])
97        z = np.append(z, preds)[1:]
98        z = z.reshape(-1, maxlen, 1)
99        gen.append(preds[0, 0])
100    print(gen)
101
102    # 予測値を可視化
103    fig = plt.figure()
104    plt.rc('font', family='serif')
105    plt.xlim([0, 2*T])
106    plt.ylim([-1.5, 1.5])
107    plt.plot(range(len(f)), sin,
108             color='gray',
109             linestyle='--', linewidth=0.5)
110    plt.plot(range(len(f)), gen,
111             color='black', linewidth=1,
112             marker='o', markersize=1, markerfacecolor='black',
113             markeredgecolor='black')
114    # plt.savefig('output.jpg')
115    plt.show()

ps_aux_grep

2023/04/05 14:13 編集

z = x[:1]にして，ずっとこれを予測に使っているので当然の結果かと思います．また，train_test_splitでtest_size=0.2, shuffle=Falseにしているので，正弦波2周期中の末尾20%を評価に使っており，全て0が答えになる内容を用いてしまっているのは危険だと考えます．ここはshuffle=Trueにしたうえで評価しましょう．