RNN：テストデータの分析がうまくできない

Question

現在MATLABでRNNモデルを作成したものをPythonに移行しています．
具体的には音のスペクトログラムデータを学習分析するものであり，現在はPythonでRNNモデルの作成を行っています．
しかし，データ学習し終えた後にテストデータで分類評価を行う際に，2値分類において予測値がすべて同一になってしまいます．

import scipy
from keras.optimizers import RMSprop
from keras import Sequential, layers
import numpy as np
from scipy.io import whosmat

## matファイルからスペクトログラムを取得
matfilename='trainfile.mat'
matfile = scipy.io.loadmat(matfilename, mat_dtype=True, squeeze_me=False)
matinfo = whosmat(matfilename)
spec=matfile["XX"] # pythonの変数を格納(shape:(86400,31,69),dtype:float32)

## RNN学習用正規化処理
spectmp=np.ravel(spec)      # 1次元化
specmean=np.mean(spectmp)   # 平均
specstd=np.std(spectmp,ddof=1)  # 標準偏差（n-1法）
spectrain=np.reshape((spectmp-specmean)/specstd,[matinfo[0][1][0],-1,1])# 平均化処理を行い，(86400,31*69)の次元で戻す

## ラベル付け
labeltrain=# shape:(86400,2), dtype:float32の形式で0,1が入力されている

## モデルの定義
model = Sequential()
model.add(layers.GRU(100, input_shape=[2139,1]))# input_shapeは31*69=2139となっている
model.add(layers.Dense(2, activation='sigmoid'))

model.compile(optimizer=RMSprop(), loss='binary_crossentropy', metrics=['accuracy'])
model.fit(spectrain, labeltrain, batch_size=200, epochs=2, verbose=1)
model.save('model.h5')

# テスト
matfilename='testfile.mat'
matfiletest = scipy.io.loadmat(matfilename, mat_dtype=True, squeeze_me=False)
matinfotest = whosmat(matfilename)
spectmp2=matfiletest["XXX"]# pythonの変数を格納(shape:(3600,31,69),dtype:float32)
spectest=np.reshape((np.ravel(spectmp2)-specmean)/specstd,[matinfotest[0][1][0],-1,1])# 平均化処理を行い，(3600,31*69)の次元で戻す
new_pos = model.predict(spectest, batch_size=200, verbose=1)

new_posのところでの分類結果が一方のラベルに偏ってしまって困っています．
Python:3.7 by Anaconda
Keras:2.2.4
numpy:1.18.1
scipy:1.3.2