ColabでGPUが使えていないように思えます。

Question

前提・実現したいこと

Colab でGPUを使ってLSTMモデルを学習させたいです。
(ライブラリはKerasをTensorflowバックエンドで使っています。)

発生している問題・エラーメッセージ

ColabのGPUの実行時間がローカル(Macbook Pro, CPU: Core i5)よりも長いため、
うまくColabのGPUが作動していないのではないかと思い色々と試したのですが、
解決策が見つからないため、質問させていただきました。

下がローカルのMacbookのJupyter notebookにてCPU Core i5で動かした際の実行結果です。

Train on 60000 samples, validate on 10000 samples
Epoch 1/3
60000/60000 [==============================] - 148s 2ms/step
Epoch 2/3
60000/60000 [==============================] - 151s 3ms/step
Epoch 3/3
60000/60000 [==============================] - 160s 3ms/step

下がColabにてGPUで動かした際の実行結果です。

Train on 60000 samples, validate on 10000 samples
Epoch 1/3
60000/60000 [==============================] - 164s 3ms/step
Epoch 2/3
60000/60000 [==============================] - 162s 3ms/step
Epoch 3/3
60000/60000 [==============================] - 162s 3ms/step

ColabのGPUで動かした方が時間がかかるというあり得ない状況になってしまっています。
ちなみに、ColabのCPUで動かした実行結果が以下です。

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.
Instructions for updating:
Use tf.cast instead.
Train on 60000 samples, validate on 10000 samples
Epoch 1/3
60000/60000 [==============================] - 218s 4ms/step 
Epoch 2/3
60000/60000 [==============================] - 214s 4ms/step 
Epoch 3/3
60000/60000 [==============================] - 215s 4ms/step 

該当のソースコード

MNISTをLSTMモデルにて行なっており、
ひねりなどは全くありません。

###Import library
from keras.models import Sequential
from keras.layers import Dense, Dropout, LSTM
from keras.optimizers import Adam
from keras.datasets import mnist

###Load mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

###Define and compile the model
model = Sequential()
model.add(LSTM(128, input_shape=x_train.shape[1:], activation='relu', return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(128, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(10, activation='softmax'))

model.compile(optimizer=Adam(lr=1e-3, decay=1e-5),
             loss='sparse_categorical_crossentropy',
             metrics=['acc'])

###Regularize data
x_train =x_train/ 255.0
x_test =x_test /  255.0

###Train the model
history = model.fit(x_train,y_train, epochs=3, validation_data=(x_test, y_test))

試したこと

ColabにてGPUを選択し保存を押したのち、
上記コードを実行する前に

import torch
torch.cuda.get_device_name(0) 
#Return: 'Tesla T4'

import tensorflow as tf
tf.test.gpu_device_name()
#Return: '/device:GPU:0'

を実行し、それぞれコメントアウトの結果が得られました。
Tesla T4を使っており、しっかりGPUを使っていることがわかります。
それにもかかわらず、実行時間が遅すぎます。
このコードのみならず、GRUモデルを用いた天気予報のコードにてもローカルのCPUよりもColabのGPUが遅いという現象が起きております。
このコードではタスクが軽すぎるやそもそもKerasでColabのGPUは使えないなどの理由で
ColabのGPUとローカルのCPUの実行時間に差ががでないのでしょうか。(というより、GPUの方が遅い。)
その場合、具体的にどのようなコードだとColabのGPUの速度を体感できるでしょうか。

お手数をおかけしますが、解決策や提言などお待ちしております。
よろしくお願いします。

Answer 1

おそらく、Trainable Parameterの数が小さすぎた(200,000程度)ため、差異が出なかったものと思います。
もともとのモデルを以下のように変えました。(2,000,000程度)

model = Sequential()
model.add(LSTM(512, input_shape=x_train.shape[1:], activation='relu',
return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(256, activation='relu',return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(128, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(128, activation='relu'))
model.add(Dense(64, activation='relu'))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(10, activation='softmax'))

すると、ローカルのCPUとColabのGPUでは結果が以下のようになり、差異が出ました。
GPUが正常に作動しているものと思います。
何か同じような疑問に至った方のためにお役に立てればと思います。
ありがとうございました。

Train on 60000 samples, validate on 10000 samples
Epoch 1/3
60000/60000 [==============================] - 728s 12ms/step
Epoch 2/3
60000/60000 [==============================] - 713s 12ms/step
Epoch 3/3
60000/60000 [==============================] - 702s 12ms/step

Train on 60000 samples, validate on 10000 samples
Epoch 1/3
60000/60000 [==============================] - 272s 5ms/step 
Epoch 2/3
60000/60000 [==============================] - 268s 4ms/step 
Epoch 3/3
60000/60000 [==============================] - 268s 4ms/step