オプティカルフローで物体検知をしたいが新規に画面に入った物体が検知できない

Question

現状

pythonでオプティカルフローを使用しています。
様々なサイトのサンプルコードを使用させてもらって実験をしているのですが、画面に新しく入ってきた物体の検知ができません。
どこがおかしいのか、ご教示いただけると幸いです。

問題点

最初から画面に映っていた物体の検知はできますが、動画の途中から新しく入ってきた物体の検知ができません。

import cv2
import numpy as np


input_file = 'input.mp4'
output_file = 'output.mp4'
cap = cv2.VideoCapture(input_file)

width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fourcc = cv2.VideoWriter_fourcc('m', 'p', '4', 'v')
fps = int(cap.get(cv2.CAP_PROP_FPS))
writer = cv2.VideoWriter(output_file, fourcc, fps, (width, height))

# Shi-Tomasiのコーナー検出パラメータ
feature_params = dict( maxCorners = 100,
                       qualityLevel = 0.3,
                       minDistance = 20,
                       blockSize = 20,
                     )

# Lucas-Kanade法のパラメータ
lk_params = dict( winSize  = (15,15),
                  maxLevel = 2,
                  criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))

# ランダムに色を１００個生成（値0～255の範囲で100行3列のランダムなndarrayを生成）
color = np.random.randint(0, 255, (100, 3))

# 最初のフレームの処理
end_flag, frame = cap.read()
gray_prev = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
feature_prev = cv2.goodFeaturesToTrack(gray_prev, mask = None, **feature_params)
mask = np.zeros_like(frame)

while(end_flag):
    # グレースケールに変換
    gray_next = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    
    # オプティカルフロー検出
    feature_next, status, err = cv2.calcOpticalFlowPyrLK(gray_prev, gray_next, feature_prev, None, **lk_params)
    
    # オプティカルフローを検出した特徴点を選別（0：検出せず、1：検出した）
    good_prev = feature_prev[status == 1]
    good_next = feature_next[status == 1]

    # オプティカルフローを描画
    for i, (next_point, prev_point) in enumerate(zip(good_next, good_prev)):
        prev_x, prev_y = prev_point.ravel()
        next_x, next_y = next_point.ravel()
        ans = cv2.norm(next_point - prev_point);
        mask = cv2.line(mask, (next_x, next_y), (prev_x, prev_y), color[i].tolist(), 2)
        frame = cv2.line(frame, (int(width/2), 0), (int(width/2), int(height)), (255, 255, 255), thickness=1, lineType=cv2.LINE_4)
    img = cv2.add(frame, mask)

    gray_prev = gray_next.copy()
    feature_prev = good_next.reshape(-1, 1, 2)
    #feature_prev = cv2.goodFeaturesToTrack(gray_next, mask = None, **feature_params)
    end_flag, frame = cap.read()
    
    writer.write(img)

writer.release()
cap.release()

試したこと

上記コードのwhile文の最後の方の
feature_prev = good_next.reshape(-1, 1, 2)
を以下に変更すると新しく動画に入ってきたものを検知できますが、連続した特徴点が取れなくなってしまいます。
feature_prev = cv2.goodFeaturesToTrack(gray_next, mask = None, **feature_params)

行いたいこと

Frameごとに異なる特徴点ではなく、連続した特徴点で物体検知をしたいのですが、どのようにすれば良いでしょうか？
ご教示いただけますと幸いです。
よろしくお願い致します。

Answer 1

最初のフレームで（goodFeaturesToTrack()で）追跡対象たる特徴点群feature_prevを決定して，
以降はそれを（calcOpticalFlowPyrLK()で）追跡している，と．
すなわち，
calcOpticalFlowPyrLK()の実施時点でのfeature_prevが追跡対象の点群というわけだ．

↓

だったら，
例えば，各フレームの処理の最後に feature_prev にてきとーに新しい点のデータを１点加えてやったとしたらどうなるのだろうか？
次のフレームでのcalcOpticalFlowPyrLK()ではその点も処理対象になるのではないだろうか．

↓

であれば，
新しく現れた点を追跡対象に加えたいならば，
（何かてきとーなタイミングで）新しい点をgoodFeaturesToTrack()か何か検出して，
それを追跡対象点群であるfeatrue_prevに追加してやればよいだけではないだろうか．

Comments

[fana]

もちろん，
特徴点を検出すると　その中には今現在追跡している点と同一の点が含まれてくる可能性がある　ことに関しては，
何かしら適切に対処した方が良い．

[ta.eee]

ありがとうございます。
ご提案いただいた案ですと、これまで検出できていた物体に対しても新たに特徴点を取ってしまうので、特徴点が増えすぎてしまうという懸念点があるのですが、これの回避策は輪郭を取って１点だけに集約するなどがいいのでしょうか？

[fana]

（そもそも現状で「物体」なる概念が取り扱われているのか否かは不明ですが）
goodFeaturesToTrack()には引数にmaskを指定できるので，それで新規検出範囲を制限して回避するのが一番手っ取り早いかもしれません．

[fana]

個数多すぎ！とかは，最大個数を適当に制限してやっても良いでしょうし．
その際，新規検出したN個からM個だけを採用する際に，例えば，既存の点群から遠いやつを優先採用してやるだとか，まぁいろいろとやり方を試してみればよいのではないでしょうか．

[ta.eee]

ありがとうございます！
勉強になりました。教えていただいたことを参考い色々試してみようと思います。

[fana]

これ系はいろいろやってみるしかないです．

点の個数を制限してみたらある移動物体が長いこと視野内に留まっていると他の物体の処理が滞るだとか，
動かない背景上の点は捨てたいのだけど「移動量が小さい点は捨てる」とかやってると，追跡中の物体の見かけの移動量が減ったら追跡が途切れちゃうだとか，

まぁいろいろと困ったことが次から次へと起きるんじゃないかと思います．

[ta.eee]

ありがとうございます！
>まぁいろいろと困ったことが次から次へと起きるんじゃないかと思います．
やはりそうなんですね。。。頑張ってみます！