tensorflow(keras)でGPUの稼働率が低い

一部のプログラムでGPUの稼働率が低く、CPUの稼働率がすごく高いです。
何とかしてGPUで学習を行えるようにしたいです。
各バージョンは以下です。

ubuntu:18.04
GPU:GeForce GTX 1070 8GB
nvidia driver:460
cuda:10.0
cudnn:7.4
python:3.6
tensorflow:1.14.0
keras:2.2.4
tf.keras:2.2.4

各プログラムの稼働率は以下です。
DnCNN

GPU:98%
CPU:74%

Autoencoder

GPU:53%
CPU:136%

CNN

GPU:141%
CPU:11%

CNNは以下の自作データセットにラベルを付与して学習させるものです。

import os
import tensorflow as tf
import keras.backend as K
from keras import layers
from keras import models
from keras import optimizers
from keras.preprocessing.image import ImageDataGenerator
import matplotlib.pyplot as plt

# 訓練データセット、検証データセット、テストデータセットを配置するディレクトリ
train_dir = '/home/practice/train2/'
validation_dir = '/home/practice/test/'
test_dir = '/home/practice/val/'
classes = ['cat','dog']



# モデルの定義
model = models.Sequential()
model.add(layers.Conv2D(16, (3, 3), activation='relu', input_shape=(40, 40, 3)))
model.add(layers.Conv2D(16, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(32, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(256, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))        # 犬猫と同じ2クラス分類で

# モデルのコンパイル
model.compile(loss='binary_crossentropy',
              optimizer=optimizers.RMSprop(lr=1e-4),
              metrics=['acc'])

model.summary()

train_datagen = ImageDataGenerator(rescale=1./255)
test_datagen = ImageDataGenerator(rescale=1./255)

# ImageDataGeneratorを使ってディレクトリから画像を読み込む
train_generator = train_datagen.flow_from_directory(
                train_dir,                     # ターゲットディレクトリ
                target_size=(40, 40),          # すべての画像サイズを120*40に変更
                classes = classes,
                batch_size=128,                  # バッチサイズ
                class_mode='binary')            # binary_crossentropyを使用するため2値のラベルが必要
validation_generator = test_datagen.flow_from_directory(
                validation_dir,
                target_size=(40, 40),
                classes = classes,
                batch_size=128,
                class_mode='binary')



imgs = []
labbels = []

for i in range(152):
    x,y = train_generator.next() # next()でgeneratorの要素を順番に取り出す
    #print(x.shape)
    #print(y.shape)
    imgs.append(x[0])
    labbels.append(y)


history = model.fit_generator(train_generator,
          steps_per_epoch=50,
          epochs=10,
          validation_data=validation_generator,
          validation_steps=50)

# モデルの保存
model.save('models/model_01_2class.h5')


acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']