質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.50%

  • Python

    8009questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 3.x

    6419questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • Keras

    210questions

  • 深層学習

    146questions

深層学習 LSTMでの学習

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 56

fia

score 0

目標

勉強のため、簡単なLSTMモデルを作成し、数字の連番を予測する。
20000の連番数字を生成し、25区切りで学習データを作成し、次の値を教師データとする。
学習データ[0,1,2,3...23,24][1,2,3...24,25]...
教師データ[25][26]...

質問

学習が収束しないので、どこを改良することで、lossを減らすことができるのか。
中間層を増やしてみましたが、学習に時間がかかりそうなので、とりあえず保留にしました。

学習データが19975個なので学習する際も19975になると思うのですが、なぜ17977で学習を行うのか。

深層学習をはじめたばかりでよくわかっていないことが多いのでご教授よろしくお願いします。

from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.layers.recurrent import LSTM
from keras.optimizers import Adam
from keras.callbacks import EarlyStopping
import numpy as np

def make_dataset():
    numbers = [s for s in range(20000)]

    data, target = [], []
    maxlen = 25
    for i in range(len(numbers)-maxlen):
        data.append(numbers[i:i + maxlen])
        target.append(numbers[i + maxlen])

    re_data = np.array(data).reshape(len(data), maxlen, 1)
    re_target = np.array(target).reshape(len(data), 1)

    return re_data, re_target

#g -> 学習データ,h -> 学習ラベル
g, h = make_dataset()
# モデル構築

# 1つの学習データのStep数(今回は25)
length_of_sequence = g.shape[1]
in_out_neurons = 1
n_hidden = 300

model = Sequential()
model.add(LSTM(n_hidden, batch_input_shape=(None, length_of_sequence, in_out_neurons), return_sequences=False))
model.add(Dense(in_out_neurons))
model.add(Activation("linear"))
optimizer = Adam(lr=0.001)
model.compile(loss="mean_squared_error", optimizer=optimizer)

early_stopping = EarlyStopping(monitor='val_loss', mode='auto', patience=20)
model.fit(g, h,
          batch_size=300,
          epochs=100,
          validation_split=0.1,
          callbacks=[early_stopping]
          )
predicted = model.predict(g)
print(predicted.shape)
print(predicted)

結果

(省略)
17700/17977 [============================>.] - ETA: 0s - loss: 86786447.5932
17977/17977 [==============================] - 3s 180us/step - loss: 86707198.0798 - val_loss: 314141389.8378
(19975, 1)
[[  25.048105]
 [  26.30668 ]
 [  27.27859 ]
 ...
 [1285.8531  ]
 [1285.8531  ]
 [1285.8531  ]]

参考リンク
https://qiita.com/sasayabaku/items/b7872a3b8acc7d6261bf

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

(あまり詳しくはないので、不備などがあったらすいません)

学習が収束しないので、どこを改良することで、lossを減らすことができるのか。

データの数値があまりにも大きすぎるのが原因だと思います。
参考のURLで学習しているのはsin波なので、-1〜1の間の値を取りますが、あなたの場合はそれよりも遥かに大きいため、うまく学習出来ないのだろうと思います。
この場合、データの値をあらかじめ-1〜1の間に収めておく、あるいは平均を0に分散を1に正規化する、といった方法をとることが考えられます。

学習データが19975個なので学習する際も19975になると思うのですが、なぜ17977で学習を行うのか。

データの一部(fit関数のvalidation_splitで設定した分)は学習に使われず、評価(val_loss)のみに使われるためです。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/14 21:06

    わかりやすい、説明ありがとうございます。
    もっと勉強に励みたいと思います。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.50%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python

    8009questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 3.x

    6419questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • Keras

    210questions

  • 深層学習

    146questions