深層学習 LSTMでの学習

Question

###目標
勉強のため、簡単なLSTMモデルを作成し、数字の連番を予測する。
20000の連番数字を生成し、25区切りで学習データを作成し、次の値を教師データとする。
学習データ[0,1,2,3...23,24][1,2,3...24,25]...
教師データ[25][26]...

###質問
学習が収束しないので、どこを改良することで、lossを減らすことができるのか。
中間層を増やしてみましたが、学習に時間がかかりそうなので、とりあえず保留にしました。

学習データが19975個なので学習する際も19975になると思うのですが、なぜ17977で学習を行うのか。

深層学習をはじめたばかりでよくわかっていないことが多いのでご教授よろしくお願いします。

from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.layers.recurrent import LSTM
from keras.optimizers import Adam
from keras.callbacks import EarlyStopping
import numpy as np

def make_dataset():
    numbers = [s for s in range(20000)]

    data, target = [], []
    maxlen = 25
    for i in range(len(numbers)-maxlen):
        data.append(numbers[i:i + maxlen])
        target.append(numbers[i + maxlen])

    re_data = np.array(data).reshape(len(data), maxlen, 1)
    re_target = np.array(target).reshape(len(data), 1)

    return re_data, re_target

#g -> 学習データ，h -> 学習ラベル
g, h = make_dataset()
# モデル構築

# 1つの学習データのStep数(今回は25)
length_of_sequence = g.shape[1]
in_out_neurons = 1
n_hidden = 300

model = Sequential()
model.add(LSTM(n_hidden, batch_input_shape=(None, length_of_sequence, in_out_neurons), return_sequences=False))
model.add(Dense(in_out_neurons))
model.add(Activation("linear"))
optimizer = Adam(lr=0.001)
model.compile(loss="mean_squared_error", optimizer=optimizer)

early_stopping = EarlyStopping(monitor='val_loss', mode='auto', patience=20)
model.fit(g, h,
          batch_size=300,
          epochs=100,
          validation_split=0.1,
          callbacks=[early_stopping]
          )
predicted = model.predict(g)
print(predicted.shape)
print(predicted)

###結果

(省略)
17700/17977 [============================>.] - ETA: 0s - loss: 86786447.5932
17977/17977 [==============================] - 3s 180us/step - loss: 86707198.0798 - val_loss: 314141389.8378
(19975, 1)
[[  25.048105]
 [  26.30668 ]
 [  27.27859 ]
 ...
 [1285.8531  ]
 [1285.8531  ]
 [1285.8531  ]]

参考リンク

https://qiita.com/sasayabaku/items/b7872a3b8acc7d6261bf

Answer 1

（あまり詳しくはないので、不備などがあったらすいません）

学習が収束しないので、どこを改良することで、lossを減らすことができるのか。

データの数値があまりにも大きすぎるのが原因だと思います。
参考のURLで学習しているのはsin波なので、-1〜1の間の値を取りますが、あなたの場合はそれよりも遥かに大きいため、うまく学習出来ないのだろうと思います。
この場合、データの値をあらかじめ-1〜1の間に収めておく、あるいは平均を0に分散を1に正規化する、といった方法をとることが考えられます。

学習データが19975個なので学習する際も19975になると思うのですが、なぜ17977で学習を行うのか。

データの一部（fit関数のvalidation_splitで設定した分）は学習に使われず、評価（val_loss）のみに使われるためです。

Comments

[fia]

わかりやすい、説明ありがとうございます。
もっと勉強に励みたいと思います。