autokerasにて学習時にGPUがうまく使われない

Question

前提・実現したいこと

autokerasによる学習時のGPUの使用率を上げたいです。

発生している問題

GPUが載っているPCでautokerasを使用時の思うようにGOUの使用率があがらず学習がかなり遅くなっています。
CPUの使用率は常時100%、GPUの使用率は20〜30%程度です。
使用率の内訳は、CPUはほぼ「Python」が占めていて、GPUはほぼ「デスクトップウィンドマネージャー」が占めています。

該当のソースコード

import shutil
import autokeras as ak
import keras as ks
from keras.utils import np_utils
from sklearn.datasets import fetch_openml
import pandas as pd
import numpy as np
import matplotlib
import matplotlib.pyplot as plt
from PIL import Image
import glob
import os
from keras.preprocessing.image import load_img, img_to_array
import sys
import pickle
import requests
from tqdm import tqdm
from io import StringIO
import time
# 画像用
from keras.preprocessing.image import array_to_img, img_to_array, load_img
#自作モジュール
from module import sep_dataset, line_send, pre_treatment, model_evaluation, set_datarange


#教師データが入っているフォルダのパス
train_folder_path = "D:/folder/subX"
#モデルの最大試行回数
max_model = 20

#モデル構築（Auto-kerasのモデル設定）
def make_model():
  input_node = ak.ImageInput()
  output_node = ak.ImageBlock(normalize=False, augment=False, )(input_node)
  output_node = ak.ClassificationHead()(output_node)
  model = ak.AutoModel(inputs=input_node, outputs=output_node, overwrite=True, max_trials=max_model, directory=train_folder_path,)
  return model

#テスト・トレーニングデータに分離、検証データの入れ替え及び全パターンの組み合わせの作成
t1, v1 = sep_dataset.main(train_folder_path, 0)
t2, v2 = sep_dataset.main(train_folder_path, 1)
t3, v3 = sep_dataset.main(train_folder_path, 2)
train = []
val = []
for i in range(len(t1)):
  train.append([t1[i]]+[t2[i]]+[t3[i]])
  val.append([v1[i]]+[v2[i]]+[v3[i]])

#前回学習中断箇所の取得(r=中断箇所のセルのrow、　c=中断箇所のセルのcolumn、　v=検証データの数字、　　p=何個目の分割パターンかの数字)
r, c, v, p = set_datarange.main(train_folder_path)

#全パターンを回す
for count in range(p, len(val)):
  for i in range(v,3):
    #データの前処理
    X_train, Y_train = pre_treatment.main(train[count][i], len(train[count][i]))
    X_test, Y_test = pre_treatment.main(val[count][i], len(val[count][i]))

    #CNNモデルの構築(max_trials：モデルの試行回数)
    model = make_model()

    #モデルの訓練（学習）
    model.fit(X_train, Y_train, validation_data=(X_test, Y_test))
   
  v = 0

試したこと

Tensorflowサポートページ記載の環境の組み合わせにしました（補足情報に使用している環境を記載しています）。

コード内に以下使用GPUが確認できるコードを入れ確認しました

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

[name: "/device:CPU:0"
 device_type: "CPU"
 memory_limit: 268435456
 locality {
 }
 incarnation: 11117973514078919282,
 name: "/device:XLA_CPU:0"
 device_type: "XLA_CPU"
 memory_limit: 17179869184
 locality {
 }
 incarnation: 15348073617761923140
 physical_device_desc: "device: XLA_CPU device",
 name: "/device:XLA_GPU:0"
 device_type: "XLA_GPU"
 memory_limit: 17179869184
 locality {
 }
 incarnation: 8427739235963277201
 physical_device_desc: "device: XLA_GPU device"]

補足情報（FW/ツールのバージョンなど）

Windows10
CPU　Intel(R) Core(TM) i7-9700K CPU @ 3.60GHz
GPU　NVIDIA GeForce GTX 1660 SUPER

Python 3.7.3
autokeras 1.0.12
tensorflow-gpu 2.3.0
cuDNN 7.4
CUDA 10.1