多変量LSTMで各epochのlossが全てnanになってしまいます

Question

TensorFlow 2.x での多変量LSTMとデータの前処理
こちらのサイトを参考に多変量LSTMにトライしています。

import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
%matplotlib inline
import seaborn as sns
import time

df = pd.read_csv('12.22min.csv')
df['time'] = pd.to_datetime(df['time'])
df.set_index('time', inplace=True)

df

#ルックバック数
look_back =25

#データ数
sample_size = len(df) - look_back

#予測に用いる期間
past_size = int(sample_size*0.8)
future_size = sample_size - past_size +1

#データセットを作る関数
def make_dataset(raw_data, look_back=25):
    _X = []
    _y = []
    
    for i in range(len(raw_data) - look_back):
        _X.append(raw_data[i : i + look_back])
        _y.append(raw_data[i + look_back])
    _X = np.array(_X).reshape(len(_X), look_back, 1)
    _y = np.array(_y).reshape(len(_y), 1)
    
    return _X, _y

from sklearn import preprocessing

columns = list(df.columns)
del columns[0]

# 最小0、最大1に正規化
Xs =[]
for i in range(len(columns)):
        Xs.append(preprocessing.minmax_scale(df[columns[i]]))
Xs = np.array(Xs)

# 各数値データを作成
X_flow, y_flow = make_dataset(Xs[0], look_back=look_back)
X_sBP, y_sBP = make_dataset(Xs[1], look_back=look_back)
X_mBP, y_mBP = make_dataset(Xs[2], look_back=look_back)
X_dBP, y_dBP = make_dataset(Xs[3], look_back=look_back)
X_HR, y_HR = make_dataset(Xs[4], look_back=look_back)

ここでエラーが出てしまいました。
IndexError Traceback (most recent call last)
<ipython-input-115-5737a4ea2153> in <module>
4 X_mBP, y_mBP = make_dataset(Xs[2], look_back=look_back)
5 X_dBP, y_dBP = make_dataset(Xs[3], look_back=look_back)
----> 6 X_HR, y_HR = make_dataset(Xs[4], look_back=look_back)

IndexError: index 4 is out of bounds for axis 0 with size 4

下から11行目の「del columns[0]」で変に列がずれてしまったのだと思い削除したら次へ進めたのですが

# 多変量LSTMに対応するための各データを結合
X_con = np.concatenate([X_flow, X_sBP, X_mBP, X_dBP, X_HR], axis=2)

X = X_con
y = y_flow

# データを過去分（訓練に用いる分）と未来分（未来の予測に用いる分）に分割
X_past = X[:past_size]
X_future = X[past_size-1:]
y_past = y[:past_size]
y_future = y[past_size-1:]

# 訓練データを定義
X_train = X_past
y_train = y_past

import tensorflow as tf
from tensorflow.keras.layers import Input, LSTM, Dense, BatchNormalization
from tensorflow.keras.models import Model
from tensorflow.keras.optimizers import SGD, Adam

# LSTMモデルを作成する関数
def create_LSTM_model():
    input = Input(shape=(np.array(X_train).shape[1], np.array(X_train).shape[2]))
    x = LSTM(64, return_sequences=True)(input)
    x = BatchNormalization()(x)
    x = LSTM(64)(x)
    output = Dense(1, activation='relu')(x)
    model = Model(input, output)
    return model

model = create_LSTM_model()
model.summary()
model.compile(optimizer=Adam(learning_rate=0.0001), loss='mean_squared_error')

history = model.fit(X_train, y_train, epochs=200, batch_size=64, verbose=1)

ここでepochにloss:nanしか出なくなり先に進めなくなってしまいました。

サイトの例文と相違する部分は
・時系列が分刻みである
・要素の列が一つ少ない
・予測対象の列が2列目に来ている
・各列の名称に沿ってデータ作成時に名称変更している

くらいと思うのですが、何が原因でうまくいかないのかわかりません。

Answer 1

同様にやってみましたが、lossは順調に減って学習できました

同じデータが手元に無いので、
tokyo_weather.csv
から、列名を下記のように修正して、.csvを捏造しました
date → time (時:分:秒 も適当に付ける)
ave_temperature → flow
ave_humidity → HR (位置を一番右の列に移動する)
total_daylight_hours → sBP
total_precipitation → mBP
ave_wind_speed → dBP
ave_cloud_cover：削除

コードは、

#df.set_index('time', inplace=True)

は無効に(コメント化)しました

del columns[0]

は有効なままです
それ以外は、そのままです

上記と逆(df.set_index(...は有効、#del columns[0]は無効)の場合でも、lossは順調に減って学習できました

当方の環境は、下記の通りです
Windows 10
Python 3.7.9
tensorflow 1.15.3 (GPU無し)

おそらくコードは間違ってないと思うので、.csvのデータを調べることをお勧めします
欠損値が無いか、無効な文字が混在してないか、等

わりとありがちなのが、うまくデータが取れなかったときに特定の記号や数値(0とか999とか)が記入されていることです
数値が入っていて、それが正常な数値の範囲から大きく離れていると、正常な数値の変動が実質的に消えてしまいます

【追記】.csvの学習に使われている行範囲の数値を一つ削除したら、loss: nan になりました
数値以外のものを書いたら、コードの途中でエラーになったので、学習を開始する前に気付きますから、nanの原因にはなりませんね
データが抜けてるか、あるいはとんでもなく変な数値が書かれてるか、そのどちらかではないでしょうか

Comments

[multinguish]

ありがとうございます。
ご指摘の通り欠損値が0で埋められていたためと考えられました。
移動平均より補完して試したところ先に進むことができました。
しかし最後の
---python
plt.figure(figsize=(18, 9))
plt.plot(df['date'][look_back:], y, color="b", label="true_cloud_cover")
plt.plot(df['date'][look_back:look_back + past_size], predictions, color="r", linestyle="dashed", label="prediction")
plt.plot(df['date'][-future_size:], future_predictions, color="g", linestyle="dashed", label="future_predisction")
plt.legend()
plt.show()
---
のところでエラーが出てしまいました。
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
~/opt/anaconda3/lib/python3.8/site-packages/pandas/core/indexes/base.py in get_loc(self, key, method, tolerance)
2888 try:
-> 2889 return self._engine.get_loc(casted_key)
2890 except KeyError as err:

pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

KeyError: 'time'

The above exception was the direct cause of the following exception:

KeyError Traceback (most recent call last)
<ipython-input-186-e491811181c6> in <module>
1 plt.figure(figsize=(18, 9))
----> 2 plt.plot(df['time'][look_back:], y, color="b", label="flow")
3 plt.plot(df['time'][look_back:look_back + past_size], predictions, color="r", linestyle="dashed", label="prediction")
4 plt.plot(df['time'][-future_size:], future_predictions, color="g", linestyle="dashed", label="future_predisction")
5 plt.legend()

~/opt/anaconda3/lib/python3.8/site-packages/pandas/core/frame.py in __getitem__(self, key)
2897 if self.columns.nlevels > 1:
2898 return self._getitem_multilevel(key)
-> 2899 indexer = self.columns.get_loc(key)
2900 if is_integer(indexer):
2901 indexer = [indexer]

~/opt/anaconda3/lib/python3.8/site-packages/pandas/core/indexes/base.py in get_loc(self, key, method, tolerance)
2889 return self._engine.get_loc(casted_key)
2890 except KeyError as err:
-> 2891 raise KeyError(key) from err
2892
2893 if tolerance is not None:

KeyError: 'time'
----------------------------------------------------------------------
これは参考サイトにしたがってcsvの列名とpython内の「time」を全て「date」に直してもKeyError: 'date'となってしまいました。

[jbpb0]

#df.set_index(...は無効、del columns[0]は有効、にしてください

[multinguish]

実行することができました。
ご丁寧に対応いただき誠にありがとうございました。