OpenPose（CPU) USBウェブカメラで骨格検出後、動画の保存ができません

Question

こんにちは、Opencvを用いてwebカメラを使いリアルタイムで骨格検出を行い、その動画をそのままファイルとして保存したいと考えております。

Pythonファイルを実行した結果、現在の状況はwebカメラでリアルタイムの骨格検出、そしてファイルを保存というところまでは出来たのですが、いざ動画ファイルを再生すると実際の撮影時間よりかなり短く、さらに骨格の検出もされていない、ただの短い動画になってしまっていました。どうにかリアルタイムで骨格検出したままの状態で保存することはできないでしょうか。 宜しくお願い致します。

---

run_webcam.py

    import argparse
    import logging
    import time
    
    import cv2
    import numpy as np
    
    from tf_pose.estimator import TfPoseEstimator
    from tf_pose.networks import get_graph_path, model_wh
    
    logger = logging.getLogger('TfPoseEstimator-WebCam')
    logger.setLevel(logging.DEBUG)
    ch = logging.StreamHandler()
    ch.setLevel(logging.DEBUG)
    formatter = logging.Formatter('[%(asctime)s] [%(name)s] [%(levelname)s] %(message)s')
    ch.setFormatter(formatter)
    logger.addHandler(ch)
    
    fps_time = 0
    
    def str2bool(v):
        return v.lower() in ("yes", "true", "t", "1")
    
    
    if __name__ == '__main__':
        parser = argparse.ArgumentParser(description='tf-pose-estimation realtime webcam')
        parser.add_argument('--camera', type=int, default=0)
    
        parser.add_argument('--resize', type=str, default='0x0',
                            help='if provided, resize images before they are processed. default=0x0, Recommends : 432x368 or 656x368 or 1312x736 ')
        parser.add_argument('--resize-out-ratio', type=float, default=4.0,
                            help='if provided, resize heatmaps before they are post-processed. default=1.0')
    
        parser.add_argument('--model', type=str, default='mobilenet_thin', help='cmu / mobilenet_thin / mobilenet_v2_large / mobilenet_v2_small')
        parser.add_argument('--show-process', type=bool, default=False,
                            help='for debug purpose, if enabled, speed for inference is dropped.')
        
        parser.add_argument('--tensorrt', type=str, default="False",
                            help='for tensorrt process.')
        args = parser.parse_args()
    
        logger.debug('initialization %s : %s' % (args.model, get_graph_path(args.model)))
        w, h = model_wh(args.resize)
        if w > 0 and h > 0:
            e = TfPoseEstimator(get_graph_path(args.model), target_size=(w, h), trt_bool=str2bool(args.tensorrt))
        else:
            e = TfPoseEstimator(get_graph_path(args.model), target_size=(432, 368), trt_bool=str2bool(args.tensorrt))
        logger.debug('cam read+')
        cam = cv2.VideoCapture(args.camera)
    
        width = int(cam.get(cv2.CAP_PROP_FRAME_WIDTH))
        height = int(cam.get(cv2.CAP_PROP_FRAME_HEIGHT))
    
        writer = cv2.VideoWriter('images/capture.mov', cv2.VideoWriter_fourcc(*'mp4v'),60, (width, height))
    
        ret_val, image = cam.read()
        logger.info('cam image=%dx%d' % (image.shape[1], image.shape[0]))
    
        while True:
            ret_val, image = cam.read()
            writer.write(image)
    
    
            logger.debug('image process+')
            humans = e.inference(image, resize_to_default=(w > 0 and h > 0), upsample_size=args.resize_out_ratio)
    
            logger.debug('postprocess+')
            image = TfPoseEstimator.draw_humans(image, humans, imgcopy=False)
    
            logger.debug('show+')
            cv2.putText(image,
                        "FPS: %f" % (1.0 / (time.time() - fps_time)),
                        (10, 10),  cv2.FONT_HERSHEY_SIMPLEX, 0.5,
                        (0, 255, 0), 2)
            cv2.imshow('tf-pose-estimation result', image)
            fps_time = time.time()
            if cv2.waitKey(1) & 0xFF == ord('q'):
                break
            logger.debug('finished+')
    
    
        cam.release()
        writer.release()
        cv2.destroyAllWindows()

---

実行環境
CentOS7
Python3.6.2
opencv-contrib-python 4.1.1.26
tensorflow 1.14.0
webcam Logitech,Webcam,C270

Comments

[t_obara]

リアルタイムに骨格検出ができると判断した方法をご提示ください。

[ShumpeiSori]

こちらの記事
https://dev.classmethod.jp/machine-learning/tf-pose-estimation-mbp/を参考に、実際にターミナルで python run_webcam.py と記入しコードを走らせたら骨格の検出は出来ていたのですが、、。

[t_obara]

ご提示になったURLでも2fpsなどの速度のようです。貴殿が行なった環境がどれほど高速な環境かわかりませんが、「リアルタイムで」検出ができたと、どのように判断したのですか？

[ShumpeiSori]

誤解を招いてしまって申し訳ないのですが、厳密にいうと「リアルタイム」ではないですね。すみません。カメラの起動もコードを走らせてから30秒後くらいで非常に遅く、骨格検出も時差がかなり生じていました。参考にさせてただいた上記の記事ではwebカメラを使用した骨格検出のことをリアルタイムでの検出と表記していたのでそのまま私も使用してしまった次第です。

[t_obara]

であれば、シーケンシャルに処理をしているので、取り込んだフレームが少なく、さらに取り込んだ画像をそのまま書き込んでいるので、当然の結果のようです。少なくとも書き込む画像に検出結果を反映させる必要があります。検出ができたと判断したのはどのような方法ですか？

[ShumpeiSori]

ありがとうございます。取り込むフレーム数を増やし、検出結果をそれに反映させるという事が必要なんですね。

検出も確実ではなく所々検出できていないところもありましたが、 cv2.imshow で画面上に表示されたwebカメラのウィンドウには骨格に沿ってイラストで主に四肢の関節と顔の一部が正しく示されていました。

[t_obara]

取り敢えず、imshowの直前にwriteすれば結果が書き込まれるのではないかと。

[ShumpeiSori]

できました。ありがとうございます。動きが場面場面と途切れてしまっているのはパソコンの性能上、致し方無いものなのでしょうか。そちらも教えて頂けると幸いです。

[t_obara]

パソコン性能か否かを判断したいのであれば、「リアルタイム」処理ではなく、一度画像をファイルに書き込み、そのデータを入力として骨格検出処理に与えるようにしてみてはいかがでしょうか。