openCVで、リアルタイムに動画に対して重い処理をしつつ元動画の録画も行う方法

Question

前提・実現したいこと

現在、python＋openCV＋pytorchを用いて、WEBカメラからの画像に対してリアルタイムに画像処理を行い、保存するプログラムを作成しています。ただ、pytorchによる画像処理は非常に重く、それなりのスペックのPCを使用していますが、FPSはせいぜい10前後といったところです。

できれば、処理を行う前のrawな状態のWEBカメラ動画も保存しつつ、処理した後の動画も保存したいのですが、while内に処理前動画の
をいれても、画像処理に時間がかかることから、飛び飛び状態の動画しか保存できず困っています。処理後の動画に関しては飛び飛びでも問題はないのですが、処理前の元動画は処理落ちのない状態で保存したいのですが、どのようなプロセスにすれば可能でしょうか？

おそらくmultiprocessに処理をすればなんとかできるのではないか思ってはいるのですが、あまり詳しくないのと、もっとシンプルに解決する方法がないかと思い、質問させて頂きました。

詳しい方がいましたら、よろしくお願いします。

該当のソースコード

def video(output_path=""):
    vid = cv2.VideoCapture(0, cv2.CAP_DSHOW)
    video_FourCC    = cv2.VideoWriter_fourcc(*'XVID')
    video_fps       = vid.get(cv2.CAP_PROP_FPS)
    video_size      = 1920 , 1080

    isOutput = True if output_path != "" else False
    if isOutput:
        out = cv2.VideoWriter(output_path, video_FourCC, video_fps, video_size)

    while True:
        return_value, frame = vid.read()
        result_img = video_process(frame) #フレームに対する処理（pytorchによる処理）

        result_add = cv2.hconcat([frame, result_img])
        cv2.namedWindow("result", cv2.WINDOW_KEEPRATIO | cv2.WINDOW_NORMAL)
        cv2.imshow("result", result_add)
        if isOutput:
            out.write(result_img)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
            
if __name__ == '__main__':

    output_dir = "./movie.avi"
    video(output_dir)

補足情報（FW/ツールのバージョンなど）

• Windows10+Anaconda
• Python 3.6.8
• opencv-python 4.1.1.26
• pytorch 1.2.0

Comments

[tachikoma]

multithreadでPyTorchでの処理を実行させつつ、メインのループでは保存をする。Pythonのqueueをスレッド間での処理の受け渡しに使うと便利です。もしくはconcurent.futureからworkerを1つだけ持つPoolを作成して、そちらに重い処理を投げてしまう。とかですかね。

[Ryomax]

なるほど、やはり現状ではmultithreadで処理するのがbetterのようですね。ご指摘頂いたPythonのqueueやconcurent.futureなど全然理解していないので、いろいろ試行錯誤してやってみようと思います。ありがとうございました。

Answer 1

GPU で行われるディープラーニングの処理が重たい原因と思われ、CPU で行う処理で並列化できる要素が質問のコードの範囲ではないため、マルチプロセスにしても速度は変わらないでしょう。
カウンタを1つ用意して重たい処理は数フレームに1回だけおこなうようにすればよいかと思います。

def video(output_path=""):
    vid = cv2.VideoCapture(0, cv2.CAP_DSHOW)
    video_FourCC = cv2.VideoWriter_fourcc(*"XVID")
    video_fps = vid.get(cv2.CAP_PROP_FPS)
    video_size = 1920, 1080

    isOutput = True if output_path != "" else False
    if isOutput:
        out = cv2.VideoWriter(output_path, video_FourCC, video_fps, video_size)

    i = 0
    while True:
        return_value, frame = vid.read()
        if i % 10 == 0:
            result_img = video_process(frame)
            result_add = cv2.hconcat([frame, result_img])

        cv2.namedWindow("result", cv2.WINDOW_KEEPRATIO | cv2.WINDOW_NORMAL)
        cv2.imshow("result", result_add)
        
        if isOutput:
            out.write(result_img)
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
            
        i += 1


if __name__ == "__main__":

    output_dir = "./movie.avi"
    video(output_dir)

追記

Python ではあまりマルチスレッドをやったことがないので、やり方が間違っているかもしれませんが、以下のようにしてみてはどうでしょうか。

メインスレッド→子スレッド、子スレッド→メインスレッドの2つのキューを用意して、

1. 「メインスレッド→子スレッドのキュー」が空ならメインスレッドから子スレッドへフレームを送る。
2. 子スレッド側でそれを受け取り、処理して、「子スレッド→メインスレッドのキュー」で結果を送る。
3. 「子スレッド→メインスレッドのキュー」が空でないなら、結果を受け取る。

import time
from multiprocessing import Process, Queue

import cv2


def process_frame(parent_to_child, child_to_parent):
    while True:
        # メインスレッドからフレームがある場合は受け取る。
        frame = parent_to_child.get()
        # print("recieved frame from main thread")

        # なにか処理する。
        time.sleep(1)

        # メインスレッドへ処理した結果を送る。
        # print("send result to main thread")
        child_to_parent.put(frame)


def video(output_path=""):
    cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)

    video_fourcc = cv2.VideoWriter_fourcc(*"XVID")
    video_fps = int(cap.get(cv2.CAP_PROP_FPS))
    video_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    video_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    out = cv2.VideoWriter(
        output_path, video_fourcc, video_fps, (video_width, video_height)
    )

    parent_to_child = Queue()
    child_to_parent = Queue()
    process = Process(target=process_frame, args=(parent_to_child, child_to_parent))
    process.start()

    result = None
    while True:
        # 1フレームずつ取得する。
        ret, frame = cap.read()

        # メインスレッドから子スレッドへフレームを送る。
        if parent_to_child.empty():
            # print("send frame to child thread")
            parent_to_child.put(frame)

        # 処理結果がある場合は受け取る。
        if not child_to_parent.empty():
            result = child_to_parent.get()
            # print("recieved result from child thread")
            
        if result:
             cv2.imshow("result", result)

        # 動画保存処理
        out.write(frame)
        if not ret or cv2.waitKey(1) & 0xFF == ord("q"):
            break

    cap.release()
    cv2.destroyAllWindows()

    print("process finished.")


video("out.avi")

Comments

[Ryomax]

回答ありがとうございます。御指摘の通り、GPUによるディープラーニング処理に時間がかかり、その処理自体が並列化でも高速化できないことは把握しております。
入力元のWEBカメラからは60fps程度で入力されており、VideoWriterによる動画保存とdeep learningによる画像処理を同一プログラム内で走らせると、画像処理に時間がかかっている間の4-5frameほどがskipされてしまいます。処理後の画像がframe落ちすることに関しては問題ないのですが、できればもともとの60fpsの処理落ちしていないrawな状態の動画も一緒に保存したいと思っています。
pytorchの処理はGPU上で主に処理されていると思うので、CPU自体自体にはある程度余裕があると思うので、できればdeep learningとは別のスレッドで動画をキャプチャーするだけのプログラムを走らせることができないかと思っています。
まあ、WEBカメラからの信号を分配し、動画を録画するためだけのPCを別に用意すればいいだけなんですが、1台のPCで解決できないかと思いまして。わかりづらい質問で申し訳ありません。

[tiitoi]

Process でディープラーニングの処理を行う子スレッドを作成して、Queue を利用してスレッド間の情報のやり取りを行ってはどうでしょうか。
ちなみに imshow() のようなウィンドウに関係する関数はメインスレッド以外から呼ぶと、アプリケーションがクラッシュするので、マルチスレッドを利用する場合はメインスレッドから必ず呼ぶようにする点はご注意ください。