PyTorchとKerasの推論速度について

Question

PyTorchとKerasの推論速度を比較してみたのですが、同じネットワークを比較するとVGG19などでは10倍近く速度差がありました。使用したのはどちらも公式にあるImagenetでのトレーニング済モデルです。

そこで質問なのですが、何が原因でこれほどの速度差が出たのでしょうか。Kerasがラッパーであるため遅くなることは理解できるのですが、もう少し内部動作に踏み込んだ洞察が欲しいと考えています。

また、今回は特殊な条件として、画像のロード->推論を1FPSとして測定しています。
若干メタ的な質問で恐縮ですがよろしくお願いします。

【補足】
TensorFlow 2.1.0
Keras 2.3.1
PyTorch 1.4.0

使用したコードは下記です。

import time

def create_model(frame, arch):
    if(frame == 'keras'):
        import tensorflow.keras.applications as model

        if(arch == 'densenet121'):
            return model.DenseNet121()
        if(arch == 'densenet169'):
            return model.DenseNet169()
        if(arch == 'densenet201'):
            return model.DenseNet201()

    elif(frame == 'pytorch'):
        import torch
        import torchvision.model as model

        if(arch == 'densenet121'):
            model = model.densenet121(pretrained=True).cuda()
        if(arch == 'densenet169'):
            model = model.densenet169(pretrained=True).cuda()
        if(arch == 'densenet201'):
            model = model.densenet201(pretrained=True).cuda()

        model.eval()
        model.to(torch.device('cuda'))

        return model


LOOP = 10
img_path = 'xxx.jpg'
frame = 'keras'
name = 'densenet121'

model = create_model(frame, name)

# inference
if(frame == 'keras'):
    import numpy
    from tensorflow.keras.preprocessing import image

    start = time.perf_counter()
    for i in range(LOOP):
        img = image.load_img(img_path, target_size=(224, 224))
        img = image.img_to_array(img)
        img = numpy.expand_dims(img, axis=0)
        preds = model.predict(img)
    elapsed_time = (time.perf_counter() - start) / LOOP_SIZE * 1000
    fps = 1 / elapsed_time * 1000

elif(frame == 'pytorch'):
    import torchvision.transforms as transforms
    from PIL import Image
    import torch
    from torch.autograd import Variable
    device = torch.device('cuda')
    transformation = transforms.Compose(
        [
            transforms.Resize([224, 224]),
            transforms.ToTensor(),
            transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
        ]
    )

    start = time.perf_counter()
    for i in range(LOOP):
        img = Image.open(img_path)
        img = transformation(img).float()
        img = img.unsqueeze_(0)
        img = Variable(img)
        img = img.to(device)
        preds = model(img)
    elapsed_time = (time.perf_counter() - start) / LOOP_SIZE * 1000
    fps = 1 / elapsed_time * 1000

line = '| %.3g | %.3g |' % (fps, elapsed_time)
print('| FPS | Throughput |')
print(line)

Answer 1

流石に同条件で10倍の差が出るとは考えづらいので、Keras のほうは CUDA/CuDNN のバージョンが合っていない等で CPU 実行になっていませんか？
GPU が利用できているかどうかを確認してください。

import tensorflow as tf
print("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))

Comments

[takayoukey]

回答ありがとうございます。
GPUは一番始めに確認しているのですが、正常に動作しているようです。
見落としかと思い、試しにCPUで比較すると15倍くらいの差になってしまいました。

あと、10倍は少し言い過ぎだったかもしれません。
最悪の場合で10倍程度で、概ね4・5倍くらいでした。
keras densenet121 10.2[FPS]
pytorch densenet121 41[FPS]

keras densenet169 8.11[FPS]
pytorch densenet169 29.2[FPS]

keras densenet201 6.83[FPS]
pytorch densenet201 25.1[FPS]

[tiitoi]

検証に使用したコードを質問に追記できますか？

[takayoukey]

コードを追記しました。

[tiitoi]

Google Colab 上で確認しましたが、たしかに Keras より Pytorch のほうが 8倍ぐらい早いですね
前から Keras は遅いとは思っていましたが、こんなに差があるとは思っていませんでした。
VGG16 とか別のモデルも試してみましたが、同じような結果になりました。