OpenCVでフェード位置を見つけたい

Question

OpenCV4.2 C++ を使って動画内のカット割りを探すプログラムを作っています。

現在は動画ファイルからフレーム画像を順番に取り出して、隣り合うフレームの差分(cv::absdiff)から平均を取ってある程度いい感じで動いています。

ただ動画内にフェードやディゾルブがあると上手くいかないのでとりあえずこの部分は対象から削除して
差分処理を行おうと考えています。

動画内でフェードやディゾルブを行っている箇所を見つける方法がありますか？

Answer 1

フェードやディゾルブ

と，それ以外の

カット割り

との間で，あなたが計算している量（差分から平均がどうのというやつ）に差が見られないかどうかを調べるところから初めてみてはどうでしょうか．

隣接フレーム間だけでうまく判定できないなら，数フレームに渡る値の変動具合を見るとか．

Comments

[YoBit]

Resありがとうございます。

細かい説明は省てましたが、
現在は、隣接したフレーム差分値を、１秒間分(30フレーム)保存して、それらの変動率も見ています。
これはカメラの視点が変わることによる誤検出を防ぐ為なのですが、これと同じような値の変動具合でフェードIn/Outが起こっていますので、差分値以外にも良い方法が無いかと　考えていました。
(数GBある動画内の全フレーム検索ですので、時間のかかるような処理はできないのですが)

[fana]

ググると
"動画像におけるディゾルブ画面切り替えの検出"
なんていう論文がある様子．(CiNiiなので私には見れないですが）

[fana]

とりあえず
Google Scholar で「ディゾルブ」で検索して，見れるやつを色々と見てみたらどうでしょう．

[YoBit]

論文は見たのですが、数式だけで自分にはちょっと無理ですね。
（今回初めて OpenCVを使って画像処理プログラムを作っています。　もともとはOpenGLの3D系プログラマーです）

[YoBit]

↑上げていただいた論文ではなくて、"逐次的な判定手続きに基づくショット境界の高速検出手法"でした。

[fana]

それそのままの機能を持つライブラリとかを知っている人がいれば別でしょうけども，
実装するための方法論という話だと，それだけで論文のネタになるっぽい話を，こういった場で実装可能レベルな話として扱うのは厳しいのでは？という気がしますね．

とりあえず　数式→無理　というのでは，やっていけないレベルの話であろうと思います．
（我々のような素人が論文を読むという場合は，その論文だけあれば読めるなんてことは稀で，読めるようになるための相応な努力が必要になるものです．）
自身に必要ない論文を読んで無料で解説までしてくれるような物好きな人がいないとは言い切れませんが，可能性的には厳しいのではないでしょうか．

[fana]

まぁ，いきなり数式と戦わずとも，話からヒントを得るだけでも十分に意味があるのではないかと思います．
あなたが，研究活動的な背景で取り組んでいるのでもないならば，「まぁこれでも目の前のデータには結構うまく行っているし」というものができれば十分かもしれません．そういう方法を考えるためにも，まずは複数の話を漁ると良いのでは，と思います．
（「ＸＸＸというのはＹＹＹという性質があるから…この手法ではＺＺＺして…」という話の，前半のＹＹＹという話だけでも役に立つ段階にあると思うので．）

[fana]

例えば，フェードに関して

> 「複数フレームにわたって連続して輝度が単調増加あるいは単調減少するかによって検出する．」

という一文を見ただけで，相応の何かを試すことはできるでしょう．
（そんな判定を具体化するだけでも作業は山積みですが，方針を立てることはできる．）
さらに，

> 「単調増加あるいは単調減少している画素の割合が閾値より大きい場合にはフェードの可能性があると判定する」

みたいなより具体的な話もある場合には実装の参考にでき得る．

[fana]

論文あるある：
最後ら辺に一言「今後の課題は閾値の決定方法です！」とかさらっと書かれている．（←使う側からすればその値が切実に必要なのだが）

[YoBit]

Res ありがとうございました。