TensorFlow　学習済みモデルを使った予測における処理時間の違いについて

前提

pythonとTensorflowについて勉強中の機械学習初心者です。
手書き文字認識の機械学習を行った後、学習済みモデルを読み込んでサンプルの識別を行ったところ、
プログラム起動後１回目のmodel.predictと２回目以降のmodel.predictで処理時間が違っていました。

発生している問題

実行結果を下に示します。
２回目以降の識別は14msしかかかっていないのに、１回目の識別には116msもかかっています。

Python
1qを押すと終了
21/1 [==============================] - 0s 116ms/step
3正解は  5
4識別結果は  5
5
6qを押すと終了
71/1 [==============================] - 0s 14ms/step
8正解は  5
9識別結果は  5
10
11qを押すと終了
121/1 [==============================] - 0s 14ms/step
13正解は  5
14識別結果は  5

該当のソースコード

識別用のプログラム

Python
1import tensorflow as tf
2from tensorflow.keras import datasets,layers,models
3import numpy as np
4import msvcrt as m
5
6(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()
7train_images = train_images.reshape((60000, 28, 28, 1))
8test_images = test_images.reshape((10000, 28, 28, 1))
9model = models.load_model('image-classification.h5')
10while True:
11    print('qを押すと終了')
12    val = m.getch()
13
14    if val.decode()=="q":
15        break
16    im=train_images[0]
17
18    im=im.reshape(1,28,28,1)
19    im = im/255.0
20    predictions_single = model.predict(im)
21    print("正解は ",train_labels[0])
22    print("識別結果は ",predictions_single[0].argmax(),"\n")

学習用のプログラム

Python
1import tensorflow as tf
2from PIL import Image
3import skimage.util
4import os
5from tensorflow.keras import datasets,layers,models
6import matplotlib.pyplot as plt
7
8
9filter_size = 3
10cwd = os.getcwd()
11print(cwd)
12(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()
13
14train_images = train_images.reshape((60000, 28, 28, 1))
15test_images = test_images.reshape((10000, 28, 28, 1))
16
17train_images, test_images = train_images / 255.0, test_images / 255.0
18
19model = models.Sequential()
20model.add(layers.Conv2D(32, (filter_size, filter_size), activation='relu', input_shape=(28, 28, 1)))
21model.add(layers.MaxPooling2D((2, 2)))
22model.add(layers.Conv2D(64, (3, 3), activation='relu'))
23model.add(layers.MaxPooling2D((2, 2)))
24model.add(layers.Conv2D(64, (3, 3), activation='relu'))
25
26model.add(layers.Flatten())
27model.add(layers.Dense(64, activation='relu'))
28model.add(layers.Dense(10, activation='softmax'))
29
30model.compile(optimizer='adam',
31              loss='sparse_categorical_crossentropy',
32              metrics=['accuracy'])
33
34
35model.fit(train_images, train_labels, epochs=5)
36test_loss, test_acc = model.evaluate(test_images,  test_labels, verbose=2)
37print(test_acc)
38model.save('image-classification.h5')