pytorchの推論時の並列処理について

Question

前提・実現したいこと

pytorchで物体検出の並列処理をしたいと考えています。
インターネットで調べてみたのですが、学習時の並列処理は多くヒットするのですが、推論時の並列処理はほとんど見つけられなかったため質問させていただきました。

もともと一つの動画を物体検出していたのですが、事情があって二つの動画を同時に物体検出したいと考えています。
使用しているPCは使用可能なGPUが3個(0,1,2)あります。

発生している問題・エラーメッセージ

下記のコードを試したところしっかり処理はできるのですが並列処理ではなく、func1→func2のような形で処理を行なっているようです。

どなたか、何かわかることがありましたら、教えていただけると幸いです。
下記のコードとは関係なく推論時の並列処理について記述があるwebページなども教えていただけると幸いです。

試したこと

以下のコードを試しました。

#main.py
import torch
from torch.multiprocessing import Process, set_start_method

from multi_utils import func1, func2

if __name__ == "__main__":
    set_start_method('spawn')

    v1 = 'ビデオ1のPATH'
    v2 = 'ビデオ2のPATH'

    process1 = Process(target=func1, args=(v1,))
    process2 = Process(target=func2, args=(v2,))

    process1.start()
    process2.start()

#multi_utils.py

def get_model(gpu_num):
    model = model(gpu_num)
    return model

def func1(v):
    video = cv2.VideoCapture(v)
    model = get_model(0)#物体検出のモデル,
    while video.isOpened():
        ret, frame = video.read()
        if not ret:
            break
        #処理
        result = model(frame)
    video.release()

def fun2(v):
    video = cv2.VideoCapture(v)
    model = get_model(1)#物体検出のモデル
    while video.isOpened():
        ret, frame = video.read()
        if not ret:
            break
        #処理
        result = model(frame)
    video.release()

補足情報（FW/ツールのバージョンなど）

python==3.6.1
cuda==9.0
torch==1.3.1+cu92
torchvision==0.4.2+cu92

Comments

[t_obara]

キャプチャデバイスは複数接続していて、認識されていて、同時に利用できることを確認されているのですか？その場合、VideoCaptureにデバイスIDを指定してあげる必要がありますがv1/v2はそれぞれ正しく指定しているのですか？

Answer 1

ビデオ1を GPU 0 を使って推論するプロセスと、ビデオ2を GPU 1 を使って推論するプロセスに分けるのが簡単です。(python main.py を2つ実行する）
おそらく、ビデオ1、ビデオ2とも、並列に GPU 0 で推論できると思いますが。