常連

google colaboratory環境において
kerasを用いてのLSTMを試行錯誤しながら作成しております


まずはこちらのサイト
https://machinelearningmastery.com/how-to-develop-lstm-models-for-time-series-forecasting/
の
1．Univariate LSTM Modelsの
1-2．Vanilla LSTMを利用し
流れを確認するところから始めました。

色々なサイトを調べているうちに
学習データをone-hot形式にし、損失関数をcategorical_crossentropyにすると
若干予測が良い的なことが記載されているページを何個かみました。
なのでこのVanilla LSTMのサンプルソースをone-hot化して、実行するように変更してみたのですが
エラーが発生してしまい、困っております。

質問内容は
（１）
エラー発生箇所が、学習後のpredictする部分でinputデータの形式がおかしい的なことが表示されておりどのように修正すれば解決するのか
（そもそも学習用データや正解ラベルの形式がおかしい場合はどのような形式にすればよいのか）
※エラー内容はページ最下部に記載しております

（２）
LSTMは、学習用データをone-hot化または、正規化のどちらにしたほうが正答率が高いのか

（３）
今回は簡単に１０～２００までの数字を３つづつに区切って次のデータを予測するなんてことをしておりますが、天気データ（気温、湿度、風速等）や株価データ（終値、出来高数等）など、複数のデータを学習させて次の予測を出すやり方はどのようにすればよいのか
（多変量というものでしょうか）

おわかりになる方がいらっしゃましたらアドバイスを頂ければと思い投稿させていただきました。
よろしくお願いします





以下、作成したソース
```python
# univariate lstm example
from numpy import array
from numpy import argmax

from keras.models import Sequential
from keras.layers import LSTM
from keras.layers import Dense


# one hot encode
def one_hot_encode(sequence, n_unique=1000):
    encoding = list()
    for value in sequence:
        vector = [0 for _ in range(n_unique)]
        vector[value] = 1
        encoding.append(vector)
    return array(encoding)


# one hot encode sequence
def one_hot_encode2(sequence, n_unique=1000):
    encoding = list()

    #for value in sequence:
    vector = [0 for _ in range(n_unique)]
    vector[sequence] = 1
    encoding.append(vector)
    a = array(encoding)
    a = a.reshape(1000)

    return a
    #return array(encoding)


# decode a one hot encoded string
def one_hot_decode(encoded_seq):
    return [argmax(vector) for vector in encoded_seq]


# split a univariate sequence into samples
def split_sequence(sequence, n_steps):
    X, y = list(), list()
    for i in range(len(sequence)):
        # find the end of this pattern
        end_ix = i + n_steps
        # check if we are beyond the sequence
        if end_ix > len(sequence)-1:
            break
        # gather input and output parts of the pattern
        seq_x, seq_y = sequence[i:end_ix], sequence[end_ix]
        X.append(one_hot_encode(seq_x))
        y.append(one_hot_encode2(seq_y))
    return array(X), array(y)


# define input sequence
raw_seq = [10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120, 130, 140, 150, 160,170, 180,190,200,210]
# choose a number of time steps
n_steps = 3


# split into samples
X, y = split_sequence(raw_seq, n_steps)

# reshape from [samples, timesteps] into [samples, timesteps, features]
n_features = 1000
X = X.reshape((X.shape[0], X.shape[1], n_features))        ########## （１）

print(y)       ########## （２）
y = y.reshape(len(y),1000)       ########## （３）


# define model
model = Sequential()
model.add(LSTM(50, activation='relu', batch_input_shape=(X.shape[0], X.shape[1], n_features,),dropout=0.15))
model.add(Dense(1000, activation="softmax"))
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])


# fit model
history = model.fit(X, y, epochs=50, batch_size=2, verbose=1)


# demonstrate prediction
x_input = one_hot_encode(array([190,200,210]))

x_input = x_input.reshape((1, n_steps, n_features))       ########## （４）


yhat = model.predict(x_input, verbose=0)

```

ソース内の各箇所に（１）～（４）までの印をつけました
そこで表示されている結果を記載します

コメント(1)の中身
```
# データ内容
[[[0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]]

 [[0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]]

 [[0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]]

 ...

 [[0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]]

 [[0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]]

 [[0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]]]

#データ形式
(18, 3, 1000)
```


コメント(２)の中身
```
#データ内容
[[[0 0 0 ... 0 0 0]]

 [[0 0 0 ... 0 0 0]]

 [[0 0 0 ... 0 0 0]]

 ...

 [[0 0 0 ... 0 0 0]]

 [[0 0 0 ... 0 0 0]]

 [[0 0 0 ... 0 0 0]]]

#データ形式
(18, 1, 1000)
```

コメント(３)の中身
```
# データ内容
[[0 0 0 ... 0 0 0]
 [0 0 0 ... 0 0 0]
 [0 0 0 ... 0 0 0]
 ...
 [0 0 0 ... 0 0 0]
 [0 0 0 ... 0 0 0]
 [0 0 0 ... 0 0 0]]

#データ形式
(18, 1000)
```


コメント（４）の中身
```
#データ内容
[[[0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]]]

#データ形式
(1, 3, 1000)
```



predictメソッドを実行した際に出力されるエラー文言
```
---------------------------------------------------------------------------
InvalidArgumentError                      Traceback (most recent call last)
<ipython-input-54-8021a9079097> in <module>()
     11 print(x_input.shape)
     12 
---> 13 yhat = model.predict(x_input, batch_size=2, verbose=0)
     14 
     15 #print(yhat)

6 frames
/usr/local/lib/python3.7/dist-packages/tensorflow/python/eager/execute.py in quick_execute(op_name, num_outputs, inputs, attrs, ctx, name)
     58     ctx.ensure_initialized()
     59     tensors = pywrap_tfe.TFE_Py_Execute(ctx._handle, device_name, op_name,
---> 60                                         inputs, attrs, num_outputs)
     61   except core._NotOkStatusException as e:
     62     if name is not None:

InvalidArgumentError:  Specified a list with shape [18,1000] from a tensor with shape [1,1000]
	 [[node sequential_2/lstm_2/TensorArrayUnstack/TensorListFromTensor (defined at <ipython-input-44-c1377d111e30>:13) ]] [Op:__inference_predict_function_9471]

Function call stack:
predict_function
```

	@@ -1 +1 @@
1	- ~~kerasのLSTMを利用しての~~one-hot化した学習データでエラーが発生する
1	+ one-hot化した学習データでエラーが発生する（kerasのLSTMを利用）

	@@ -1 +1 @@
1	- kerasのLSTMを利用しての~~予測関数pr~~e~~dic~~tでエラーが発生する
1	+ kerasのLSTMを利用してのone-hot化した学習データでエラーが発生する

質問編集履歴