映像出力しない場合のFPSの取得について

Question

映像出力しない場合のFPSを数える方法を知っている方がいたら教えてほしいです。
yolo(darkflow)で物体認識を行い、認識した物体に応じた音を再生するシステムを実装しようとしています。
物体認識を映像ではなく、音声情報で賄うため、映像出力をしていません。
このような場合、どのようにFPSを取得するべきなのかご教授お願いします。
(ループ内に関数をいれて数えるような話は聞いたことあるのですが、理解できなかったため、質問させて頂きました)
抽象的な質問になってしまい申し訳ありません。

import pyrealsense2 as rs
from darkflow.net.build import TFNet
import cv2
import numpy as np
import wave
import winsound as ws
from PIL import Image

options = {"model": "cfg/yolov2-tiny-voc.cfg", "load": "bin/yolov2-tiny-voc.weights", "threshold": 0.1, "gpu": 0.8}
tfnet = TFNet(options)

class_names = ['aeroplane', 'bicycle', 'bird', 'boat', 'bottle',
              'bus', 'car', 'cat', 'chair', 'cow', 'diningtable',
              'dog', 'horse', 'motorbike', 'person', 'pottedplant',
              'sheep', 'sofa', 'train', 'tvmonitor']

person = class_names[14]

num_classes = len(class_names)
class_colors = []
for i in range(0, num_classes):
    hue = 255*i/num_classes
    col = np.zeros((1,1,3)).astype("uint8")
    col[0][0][0] = hue
    col[0][0][1] = 128
    col[0][0][2] = 255
    cvcol = cv2.cvtColor(col, cv2.COLOR_HSV2BGR)
    col = (int(cvcol[0][0][0]), int(cvcol[0][0][1]), int(cvcol[0][0][2]))
    class_colors.append(col)

sound_name1 = 'wav/1mobtection.wav'
sound_name4 = 'wav/person.wav'
sound_name8 = 'wav/center330sw20.wav'
sound_name9 = 'wav/center0sw20.wav'
sound_name10 = 'wav/center30sw20.wav'

config = rs.config()
config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)
config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)

pipeline = rs.pipeline()
profile = pipeline.start(config)

try:
    while True:
        # Wait for a coherent pair of frames: depth and color
        frames = pipeline.wait_for_frames()
        depth_frame = frames.get_depth_frame()
        color_frame = frames.get_color_frame()
        if not depth_frame or not color_frame:
            continue

        # Convert images to numpy arrays
        depth_image = np.asanyarray(depth_frame.get_data())
        color_image = np.asanyarray(color_frame.get_data())

        result = tfnet.return_predict(color_image)
           
        for item in result:
            tlx = item['topleft']['x']
            tly = item['topleft']['y']
            brx = item['bottomright']['x']
            bry = item['bottomright']['y']
            label = item['label']
            meters = depth_frame.get_distance(tlx + int(brx-tlx/2), bry + int(tly-bry/2))
            xc = tlx + int(brx-tlx/2)
            dep = item['confidence']

            if dep > 0.4:

                for i in class_names:
                    if label == i:
                        class_num = class_names.index(i)
                        break
            
            if label == person and meters < 1.0 and xc < 210:
                ws.PlaySound(sound_name1,ws.SND_FILENAME)
                ws.PlaySound(sound_name4,ws.SND_FILENAME)
                ws.PlaySound(sound_name8,ws.SND_FILENAME)
            elif label == person and meters < 1.0 and 210 < xc < 430:
                ws.PlaySound(sound_name1,ws.SND_FILENAME)
                ws.PlaySound(sound_name4,ws.SND_FILENAME)
                ws.PlaySound(sound_name9,ws.SND_FILENAME)
            elif label == person and meters < 1.0 and 430 < xc < 640:
                ws.PlaySound(sound_name1,ws.SND_FILENAME)
                ws.PlaySound(sound_name4,ws.SND_FILENAME)
                ws.PlaySound(sound_name10,ws.SND_FILENAME)

        # escを押したら終了。
                k = cv2.waitKey(10);
                if k == ord('q'):  break;

finally:
        pipeline.stop()
        cv2.destroyAllWindows()


       

Answer 1

FPSは一秒あたりのフレーム数なので、一枚のフレームを取得したあとに次のフレームを取得するまでの時間を計算し、その逆数をとればFPSを計算できると思います。

あなたのコードであれば各While loopで一フレーム取得しているので、各loopでtime stampをとり、その差分の逆数からFPSを計算できるでしょう。

また、新しいフレームを取得するごとにFPSを計算することができ、これらは理想的にはすべて一致しているものと考えられるのですが実際にはWhile loop内の他の処理などの影響でそうはなりません。
それを解決するためには各FPSの平均をとれば良いと思います。
もしリアルタイムに物体認識しながらFPSを計算したいのであれば移動平均を使って現在のFPSを算出すればよいでしょう。

Comments

[退会済みユーザー]

ご丁寧にありがとうございます。
loopごとに現在時刻をテキスト上書きで出力して、差分の逆数の平均を取る方法でよろしいのでしょうか？

[tkymtmt]

説明不足で申し訳ありません。リアルタイム処理でないのであれば差分の平均の逆数を計算し、リアルタイム処理なら差分の逆数の平均（移動平均）を計算すればよいと思います。

[退会済みユーザー]

僕の理解力が低くて申し訳ありません。
ご丁寧にありがとうございます。