画面に現れた円の出現時間を個別に計測したい

Question

現在、検出した複数の円の出現時間を個別に計測し、記録するシステムを作製しようと考えています。各円は座標により区別するものとしました。以下が、作成したプログラムになります。

from datetime import datetime
import math
import numpy as np
import cv2

FIND_DIST = 30 
targets = []

id = 1
cap = cv2.VideoCapture(1)
while True:
    pts = []
    now_time = datetime.now()
    ret, frame = cap.read()
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    gray = cv2.GaussianBlur(gray, (33,33), 1)
    circles = cv2.HoughCircles(gray, cv2.HOUGH_GRADIENT, 1, 60, param1=10, param2=85, minRadius=10, maxRadius=80)

    if circles is not  None:

        circles = np.uint16(np.around(circles))
        for i in circles[0,:]:
            cv2.circle(frame,(i[0],i[1]),i[2],(255,255,0),2)
            cv2.circle(frame,(i[0],i[1]),2,(0,0,255),3)
            pt = (i[0],i[1])
            pts.append((float(pt[0]), float(pt[1])))

    print(pts)   
    for tgt in targets:
        tgt['bIn'] = False

    new_tgts = []

    for pt in pts:
        bIn = False
        for tgt in targets:

            if math.sqrt( math.pow(pt[0] - tgt['pos'][0], 2) + math.pow(pt[1] - tgt['pos'][1], 2)) <= FIND_DIST:
                tgt['bIn'] = True
                tgt['pos'] = pt
                bIn = True

        if not bIn:
            new_tgt = {'id':id,'bIn':True,'pos':pt,'in_time':now_time}
            new_tgts.append(new_tgt)
            id += 1

    for tgt in targets:
        if tgt['bIn']: 
            new_tgts.append(tgt)
        else:         
            print('{}sec'.format((now_time - tgt['in_time']).total_seconds()))

    targets = new_tgts


    cv2.imshow('preview', frame) 
    key = cv2.waitKey(10)
    if key == ord("q"):
        break

cv2.destroyAllWindows()

起動させた結果が以下の写真です。

複数円を表示させ続けていても、途中で計測をやめてしまいます。そのため、pts内の座標を表示させるようにし起動させたところ、座標がなくなったらその座標の時間計測をやめるという動きはできているようですが、しっかり座標を保管することが出来ていないということがわたりました。
1フレーム内の円の座標を逃さずlistに保管できるようにしたいのですが、ハフ変換では今回の結果が限界なのでしょうか。また、OpenCVでの円検出について調べてみたのですが、ハフ変換に関する内容のものしか見つけることが出来ていない状況です。ハフ変換より精度がよい円の検出方法について教えていただきたいです。読みずらい文章で申し訳ありません。よろしくお願いします。

Comments

[tiitoi]

「しっかり座標を保管することが出来ていない」の意味がよくわからないです。円があっても検出できないことがあるということでしょうか？

[tasuke]

コメントありがとうございます。出力を見た感じ、恐らくtiitoi様のおっしゃる通り、円の検出が出来ないことがあるのだと思います。あいまいな回答になってしまい申し訳ありません。

[tiitoi]

本当にできていないのかこちらではわからないので、まずは検出結果を描画し、VideoWriter で検出結果付きで動画を書き出して、目視でその仮定があっているのか確かめてはどうでしょうか。

[fana]

HoughCirclesの処理パラメータの指定は妥当なのでしょうか？（Param1がかなり小さいのは正当？）

Answer 1

具体的なソースの提示はできませんが…
検出中（残留中）の点かの判定において、現フレームにて未検出だったら即離脱と判断するのではなく、過去数フレームで連続して未検出だったら離脱と判断するようにすればよいと思います。
提示ソースで云えば、bInの代わりに未検出だったフレーム数を保持すれば判定できそうです。

考え方

bInを失踪時間と表現すると考えやすいかと思います。

• 現フレームで見つからなかった残留点について、失踪時間を０からインクリメントしていく。
• 途中でまた見つかった場合は失踪時間を０に初期化更新して残留リストにも残しておく。
• そして（失踪から）ｎフレームたったら離脱（死亡）と認定し、残留リストから外す。

ちなみに現実の法律では、失踪時点ではなく認定時点で死亡したとみなす（出現～失踪認定までが生存期間）ようです。

Comments

[tasuke]

今回も答えていただき、大変ありがとございます。bInについてなのですが、True、Falseで分けるのではなく、0,1,2で分けるということは可能でしょうか。

[can110]

はい。できます。研究とのことなので、とりあえず具体的なコードは提示できませんが…

[tasuke]

では、bInを初めは0にし、フレームが変わったとき検出できなければ1に、さらに次のフレームでも検出できなければ2にし(bIn += 1などでbInを足していく)、任意の数値になったとき時間を表示しbIn を0に戻すという方法で上記の問題を解決するということもできますか。

[can110]

考え方を回答に追記しました。

[tasuke]

丁寧な説明、ありがとうございます。

ちなみに「ありがとう」の語源は、「私たちが人間に生まれることは百年に一度浮かび上がる亀が、浮かび上がった拍子に、丸太ん棒の穴に頭を入れることが有るよりも難しいことである」という釈迦の教えから来ているようです。

[can110]

なお、tiitoiさん、fanaさんもコメントされているように
検出に問題ないか・精度を高められないかも検証、考慮したほうがよいかと思います。