CNNとLSTMを組み合わせたモデルを作っているのですが、テストデータだと全く予測できていません。

Question

将来的にCNNとRNNを組み合わせたモデルを作成したく、mnistを使ってサンプルを作っているのですが、学習データの精度はほぼ1に近い値になりますが、テストデータの方は全くです(R^2が負の値だったり....)。
こちらのページを参考にコードを書いております。リンク内容
Kerasで書き換えているためモデルの構造と実行の部分は異なりますが、サンプルデータの作り方は全く同じものですので、こちらを見て頂ければと思います。
精度が低いとかそういう値ではないので何かモデルの構造がおかしいのではないかと思い、色々と試してみましたが、全く変わる様子はありません。
機械学習は初心者なもので意味不明なことをしているかもしれませんが、何卒よろしくお願い致します。

def CNN_LSTM_Model(sequence_size, img_num, img_size, hidden_size):     

#cnn
    input = Input(shape=(sequence_size, img_size, img_size, 1))

    cnn_list =[]
    for i in range(sequence_size):
        x = Conv2D(16, kernel_size=(3, 3), strides=(1, 1), padding='same', activation='elu')(input[:,i,:,:,:])
        x = MaxPooling2D(pool_size=(2, 2), strides=(2, 2))(x)
        x = Dropout(0.3)(x)
        x = Conv2D(16, kernel_size=(3, 3), strides=(1, 1), padding='same', activation='elu')(x)
        x = MaxPooling2D(pool_size=(2, 2), strides=(2, 2))(x)
        x = Dropout(0.3)(x)
        x = Flatten()(x)
        output1 = Dense(hidden_size, activation='elu',kernel_initializer=tf.keras.initializers.VarianceScaling())(x)
        cnn_list.append(output1)

    cnn_list=tf.transpose(cnn_list,perm=[1,0,2])
    #cnn_list = tf.reshape(cnn_list,(img_num,sequence_size,hidden_size))
#LSTM
    x = LSTM(hidden_size, stateful=False)(cnn_list)
    output2 =Dense(19,activation='softmax')(x)

    model = Model(inputs=input, outputs=output2)
    model.compile(loss="categorical_crossentropy", optimizer="Adam",metrics=['accuracy'])
    
    model.summary()

    return model

img_num=128
sequence_size=2
img_size=28
output_size=19
hidden_size=256

(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_T, y_T, y_T_onehot = sampling_data(x_train, y_train)
    
y_T_onehot = np.reshape(y_T_onehot,(img_num,output_size))

#for fitting first dimension size
x_T = np.reshape(x_T,(sequence_size,img_num,img_size,img_size,1)) 
x_T = np.transpose(x_T,(1,0,2,3,4))
   
model = CNN_LSTM_Model(sequence_size=sequence_size, img_num=img_num, img_size=img_size, hidden_size=hidden_size)
model.fit(x_T,y_T_onehot,batch_size=img_num,epochs=500,verbose=1,validation_split=0.0)      

x_T_test, y_T_test, y_T_onehot_test = sampling_data(x_test, y_test)
y_T_onehot_test = np.reshape(y_T_onehot_test,(img_num,output_size)) 
x_T_test = np.transpose(x_T_test,(1,0,2,3,4))

pred_train = model.predict(x_T,batch_size=img_num,verbose=0)
pred_test = model.predict(x_T_test,batch_size=img_num, verbose=0)

train_ans = []
for i in range(img_num):
    max_index = np.argmax(pred_train[i])
    ans = max_index -9
    train_ans.append(ans)

test_ans = []
for i in range(img_num):
    max_index = np.argmax(pred_test[i])
    ans = max_index -9
    test_ans.append(ans)

print("RMSE: %.0f" % (np.sqrt(mean_squared_error(y_T, train_ans))))
print("R2: %.3f" % (r2_score(y_T, train_ans)))
print("RMSE: %.0f" % (np.sqrt(mean_squared_error(y_T_test, test_ans))))
print("R2: %.3f" % (r2_score(y_T_test, test_ans)))
#RMSE: 0
#R2: 1.000
#RMSE: 4
#R2: 0.054

Comments

[meg_]

訓練データとバリデーションデータでloss・accuracyの差はどうなっていますか？

[ryoya0127]

参考までに500エポック目の値です。
loss: 0.1808 - accuracy: 0.1875 - val_loss: 0.2045 - val_accuracy: 0.07

どうもHistoryを参照できないみたいで、loss や　accuracy をplotすることもできなくて図をお見せできません。
'History' object has no attribute 'keys'　というエラーが出てしまうのですがこれも関係ありますかね？

[meg_]

訓練データとバリデーションデータの差はないということでしょうか。学習過程が可視化できないのであれば何とも言えませんが、過学習を疑ったのですが違うのかもしれませんね。

[ryoya0127]

すみません昨日の値間違っておりました、500エポックですと
loss: 0.0011 - accuracy: 1.0000 - val_loss: 0.4716 - val_accuracy: 0.2031
これだと過学習ぽく見えますが、こういう値をとるときもあれば、現実的ではない値をとることもあるのでよくわからないですね...

Answer 1

ちゃんと1からサンプルコードを見直せばよかったのですが、
tensorflowは全くわからないので、実行のとこらへんを雑に見ていました。。。
kerasだと多分できない？ですがサンプルでは毎エポックでデータを入れ替えていました(データを取得する関数を毎回実行)
つまり、1万エポックで毎回バッチ数は128だから、1280000×2枚の画像を使っていたわけで、
対するぼくはそんなこと知らず、128×2枚の画像しか使っていなかったわけで、そりゃあ過学習起こしますよと...
kerasのmodel.fitだとそんなことできなそうなので、とりあえず1回の画像の枚数を10000とかにしたら全然8割ぐらいの精度出ました...こんなことに3週間ぐらい気づかなかったなんて...

まあ、関係はしてなかったですが色々試行錯誤する過程で勉強になったのでよしとしましょう...

回答くださった方ありがとうございました！！

Answer 2

Kerasは普段使いませんし直感で回答します．

まずtrainで精度が1近いのでモデルの不備を除外します．

trainとtestで差が大きいのでコードの差分を確認します．

trainとtestで異なる部分があります．

x_T = np.reshape(x_T,(sequence_size,img_num,img_size,img_size,1)) 
x_T = np.transpose(x_T,(1,0,2,3,4))

と

x_T_test = np.transpose(x_T_test,(1,0,2,3,4))

np.reshapeの変形が抜けてませんか？

Comments

[ryoya0127]

ややこしいことをして申し訳ありません。
ここのreshapeは無くても結果は変わらなかったので、testの方では消していたのですが、trainの方では消し忘れていました。