CNN テストデータの正誤について詳しく見てみたい

CNNで簡単なモデルを作成したのですが，
正答率は出力できるのですが，具体的にどの画像が正しく分類され，どの画像が誤って分類されているのかが現状全く分かりません。
わたくしのイメージとしては，テストデータを2分類であればCNNにより分類して2つのファイルに保存するイメージです。

import matplotlib.pyplot as plt
import os
import cv2
import random
import numpy as np
import tensorflow as tf
from sklearn.model_selection import train_test_split


DATADIR = "aa"
CATEGORIES = ["x2","y2"]
IMG_SIZE = 56
training_data = []
def create_training_data():
    for class_num, category in enumerate(CATEGORIES):
        path = os.path.join(DATADIR, category)
        for image_name in os.listdir(path):
            try:
                img_array = cv2.imread(os.path.join(path, image_name), cv2.IMREAD_GRAYSCALE)  # 画像読み込み
                img_resize_array = cv2.resize(img_array, (IMG_SIZE, IMG_SIZE))  # 画像のリサイズ
                training_data.append([img_resize_array, class_num])  # 画像データ、ラベル情報を追加
                
                
            
            except Exception as e:
                pass
create_training_data()
random.shuffle(training_data)  # データをシャッフル
X_train = []  # 画像データ
y_train = []  # ラベル情報
# データセット作成
for feature, label in training_data:
    X_train.append(feature)
    y_train.append(label)
# numpy配列に変換
X= np.array(X_train)
y= np.array(y_train)

x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.20)

x_train, x_test = x_train / 255.0, x_test / 255.0



model = tf.keras.models.Sequential()
model.add( tf.keras.layers.Reshape((56, 56, 1), input_shape=(56, 56)) ) 
model.add( tf.keras.layers.Conv2D(64, (3, 3), padding='same', activation='relu' ))
model.add( tf.keras.layers.Conv2D(64, (3, 3), padding='same', activation='relu' ))
model.add( tf.keras.layers.MaxPooling2D(pool_size=(2,2)) ) 
model.add( tf.keras.layers.Conv2D(128, (3, 3), padding='same', activation='relu' ))
model.add( tf.keras.layers.Conv2D(128, (3, 3), padding='same', activation='relu' ))
model.add( tf.keras.layers.MaxPooling2D(pool_size=(2,2)) ) 
model.add( tf.keras.layers.Conv2D(256, (3, 3), padding='same', activation='relu' ))
model.add( tf.keras.layers.Conv2D(256, (3, 3), padding='same', activation='relu' ))
model.add( tf.keras.layers.MaxPooling2D(pool_size=(2,2)) ) 
model.add( tf.keras.layers.Dropout(0.5) )           
model.add( tf.keras.layers.Flatten() )   
model.add( tf.keras.layers.Dropout(0.25) )
model.add( tf.keras.layers.Dense(4096, activation='relu') )
model.add( tf.keras.layers.Dropout(0.25) )
model.add( tf.keras.layers.Dense(4096, activation='relu') )
model.add( tf.keras.layers.Dense(2, activation='softmax') )


model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=256, epochs=50)
loss, accuracy = model.evaluate(x_test,  y_test, verbose=2)


コード