遊泳中のメダカの２値化映像がきれいに映らない

Question

前提・実現したいこと

以前同プログラムで質問したものです。（遊泳中のメダカの重心を撮る）
現ソースコードでやってると２値化後の映像がなぜか点滅気味でメダカの体も輪郭だけでキレイに映らないです。
撮影条件としては水槽の下から暗室で撮影しており，水槽の上からモニターで照らしている状態です。
前回のように横から照らした状態だと大丈夫なのですが下からの撮影だと画像の状態になってしまいます。
これをまず点滅しない状態＋メダカの体がきれいに反映される状態にしたいです。
撮影条件の違いも検討していますがプログラム内でどこがわるいのか教えてくださると幸いです。

該当のソースコード

import cv2
import time
import numpy as np

movie = cv2.VideoCapture('upvideo.mp4')

        
before = None /前回の画像を保存する変数
fps = int(movie.get(cv2.CAP_PROP_FPS)) /動画のFPSを取得
kernel = np.ones((3,3),np.uint8)
kerne2 = np.ones((11,11),np.uint8)



while True:
    /画像を取得
    ret, frame = movie.read()
    /再生が終了したらループを抜ける
    if ret == False: break
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    
    if before is None:
        before = gray.astype("float")
        continue
    /現在のフレームと移動平均との差を計算
    cv2.accumulateWeighted(gray, before, 0.6)#
    frameDelta = cv2.absdiff(gray, cv2.convertScaleAbs(before))
    /frameDeltaの画像を２値化
    thresh = cv2.threshold(frameDelta, 1, 255, cv2.THRESH_BINARY)[1]
    opening1 = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel)
    closing = cv2.morphologyEx(opening1, cv2.MORPH_CLOSE, kerne2)
    
    
    label = cv2.connectedComponentsWithStats(closing)


   
    /オブジェクト情報を項目別に抽出
    n = label[0] - 1
    data = np.delete(label[2], 0, 0)
    center = np.delete(label[3], 0, 0)

    /ラベリング結果書き出し用に二値画像をカラー変換
    color_src = cv2.cvtColor(gray, cv2.COLOR_GRAY2BGR)

    /オブジェクト情報を利用してラベリング結果を表示
    for i in range(n):
     
        x1 = data[i][0] + data[i][2]
        y1 = data[i][1] + data[i][3]
       
        /各オブジェクトの重心座標をに黄文字で表示
        cv2.putText(color_src, "X: " + str(int(center[i][0])), (x1-10 , y1+15 ), cv2.FONT_HERSHEY_PLAIN, 1, (0, 255, 255))
        cv2.putText(color_src, "Y: " + str(int(center[i][1])), (x1-10 , y1+30 ), cv2.FONT_HERSHEY_PLAIN, 1, (0, 0, 255))


    time.sleep(0.05/fps)
    cv2.imshow('movie2',thresh)
    cv2.imshow('movie',color_src)
    cv2.imshow('target_bh', closing)

    /Enterキーが押されたらループを抜ける
    if cv2.waitKey(1) == 13: break

cv2.destroyAllWindows() /ウィンドウを破棄

Comments

[1T2R3M4]

>プログラム内でどこがわるいのか
コードを書いたご自身が一番詳しいのでは。

[fana]

各フレームにおける処理状態
：例えば，移動平均(before)や，差分の２値化(thresh)等

を可視化するなりして，何が起きているかを把握すべきと思います．

[munimunimuni]

素朴な疑問ですが、「水槽の上からモニターで照らす」というのは、いわゆる液晶モニターとかの事でしょうか？もしそうだとすると、その光は連続的でなく、例えば60Hzとかのリフレッシュレートで点滅しているものと思われます。一方で、カメラも一定周期で画像を取り込んでいるので、これらの周波数の組合せによっては、(動画として目で見る分には気づきにくいのですが)ある時間の画像をチェックすると、魚影が画面平面上で連続していない可能性があります。一度、静止画で確認されてはいかがでしょうか。

[munimunimuni]

要は、光源について、白熱球の様に、ちらつきの無い連続的な光を使用しては？という提案です。

[fana]

「点滅」というのが具体的にどういう話なのかわかりませんが，
輪郭しか出ないというのは，単に，内側部分が「メダカ - メダカ = 0」みたいなことになっているだけだったりはしないのでしょうか？
（複数フレームにわたってメダカな箇所がある場合，移動平均画像のその部分がメダカ色になってしまっているのでは？　という話）

Answer 1

「現在のフレームと移動平均との差を計算」というところがありますが、ここを「メダカがいない時の画像との差を計算」にしたら、解決しませんかね？

Comments

[fana]

> メダカがいない時の画像

というのは，どこからどうやって出てくる想定の話なのか？
そこが重要（省略すべきではない）箇所かと．

移動平均を用いているのは（実際上の必要性や影響具合等々は我々には不明ですが）背景を一定とは仮定できないという前提があってのこと（時間方向の急峻ではない変化に対抗しようという話）でしょうから．

[munimunimuni]

「移動平均を用いる事」を必然としているかどうかは、第三者には分からないことでは？もし、どうしてもfanaさんの言う通り「背景を一定とはできない」なら、過去に遡って、より長い時間の移動平均との差を取れば良い話かもしれませんね。

[fana]

回答内容は【質問者が今使っている「背景」を「別のもの」に変えたらどうか？】という話と見えるので，「別のもの」の具体的な取得手段に関する想定などが示された方が有益な内容になるのではないでしょうか？　という話です．

（メダカを水槽に入れない状態での撮影作業を実施する想定なのか，メダカが水槽内にいる状態で「撮影画像中のメダカがいない（と推定された）部分」を積極的に利用していくような話なのか，その他なのか）