セマンティックセグメンテーション(PSPNet)を動画に対して実行したい

Question

前提・実現したいこと

セマンティックセグメンテーションを用いて、動画から検出を行いたいのですが、どのようにソースコードを作成すればよいのか分かりません。

ネットワークは、以下のものを利用しています。

用いたネットワーク

Github - PSPNet by PyTorch

PSPNetをPyTorchで実装したものです。

現在、学習は済んでおり、テストに関しては画像からの検出が可能な状態になっています。
そこで、test.pyを元にして動画対応にしたソースを作成したいのですが、何からすればよいのか分かりません……

どなたか分かる方いらっしゃったら、教えて頂きたいです。

Answer 1

OpenCV pythonのVideoCaptureを使用すれば，動画の各フレームを画像として切り出して，Semantic Segmentationを適用することができます．
http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_gui/py_video_display/py_video_display.htmlにあるコードを少し改変したものを基に説明をします．

import numpy as np
import cv2

cap = cv2.VideoCapture('vtest.avi')

while(cap.isOpened()):
    ret, frame = cap.read()
    
    # frameは動画の各フレーム，すなわち画像です．
    # semnatic_segmentationは自分の好きなセマンティックセグメンテーションの関数に変更してください．
    output = semantic_segmentation(frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

このVideoCaptureに，Semantic Segmenationを適用する動画のパスを指定すれば，使用できます．
opencvのinstallはpip等でinstallできるようになっています．
これは，最小限のコードなので，必要に応じて付け足していけば，目的を達成できるかと思います．