KerasのLSTMによるモデル学習時に、lossがnanになってしまう問題

前提

kerasで自然言語処理の勉強をしていて、双方向LSTMで単語予測をする言語モデルの構築をしています。
n個の単語からなる文があったとき、t番目の単語を予測するために、1からt-1番目までの情報とt+1からn番目までの情報を使いたいです。
用意されているkerasのBidirectionalでは実現できないため、ずらす用の文字を追加で入れて実現しようと試みてます。

学習時に、lossがnanになってしまう問題に躓いています。

実現したいこと

ここに実現したいことを箇条書きで書いてください。

「私は学生です」という文章があり、「は」を予測したい
順方向LSTMでの「私」->「は」という計算結果と逆方向LSTMでの「です学生」->「は」という計算結果を組み合わせて予測する

発生している問題・エラーメッセージ

Epoch 1/100
  70/1113 [>.............................] - ETA: 3:06 **- loss: nan - accuracy: 0.0000e+00**

該当のソースコード

Python
1
2# 入力データ ずらす用で * を追加してます
3# 順方向
4# ex. [1,1,2,3,4,5] (「**私は学生です」)
5# 逆方向
6# ex. [2,3,4,5,11] (「私は学生です**」)
7# 出力データ 次の単語を予測します
8# ex. [1,1,3,4,5,6] (「**は学生です。」)
9
10
11#----------
12# 順方向
13input1 = Input(shape=(seq_len+2,), name='forward')
14# 逆方向
15input2 = Input(shape=(seq_len+2,), name='backward')
16
17
18emb1 = Embedding(input_dim=emb_matrix.shape[0], output_dim=emb_matrix.shape[1], 
19    weights=[emb_matrix], mask_zero=True)(input1)
20emb2 = Embedding(input_dim=emb_matrix.shape[0], output_dim=emb_matrix.shape[1], 
21    weights=[emb_matrix], mask_zero=True)(input2)
22
23
24forlstm = LSTM(128, return_sequences=True)(emb1)
25backlstm = LSTM(128, return_sequences=True, go_backwards=True)(emb2)
26
27bilstm = concatenate([forlstm, backlstm])
28
29output = TimeDistributed(Dense(len(dic_vocab), activation='softmax'))(bilstm)
30
31model = Model(inputs=[input1, input2], outputs=output)
32model.summary()
33
34model.compile(loss='sparse_categorical_crossentropy', optimizer=tf.keras.optimizers.RMSprop(learning_rate=0.0001),
35              metrics=['accuracy'])
36
37model.fit([forward, backward], y, batch_size=256, epochs=100)

試したこと

lossがnanになってしまうと検索して、出てくるようなものは試しました

学習率を下げてみるなど
学習データに関しては、前処理を丁寧にはしてないのでゴミは多いかもしれませんが、以前順方向のみのLSTMなどで学習させたときは問題なく動作したので、データ内にNaNがあるといった問題はないと考えます。
また、上記のモデルは同じで、入力データの * を除いたもので学習させたところ、問題なく動いています。
上記のコードに追加で、Maskingで * をmaskしてみたのですが、改善されませんでした。(ただ、* にembeddingによる重みがついていたので、それが悪さしているような気がします。ずらす用の文字を変えてみたらいいのかもしれないと思い、試しましたがだめでした)

また、モデルの構築の仕方についても改善点があれば教えていただきたいです。