テンプレートマッチングと、SIFTなどの局所特徴量などについて

Question

基本的な質問だと思いますが、、、

解決したい問題

局所特徴量を計算する手法において、テンプレートの複数検出はどのように可能になるでしょうか？

背景

探したい画像（テンプレート）があって、それを対象の画像（オリジナル）内で探したい場合を考えます。

オリジナル内にはテンプレートに相当する箇所が複数あり、それらすべてを検出したいとします。

テンプレートマッチングでは、ピクセルごとに類似度（SSDなど）を計算することで、テンプレートを見つけるため、この類似度の2次元的な極大を見つけることで複数の検出が可能となります。

しかし、テンプレートマッチングではテンプレートの回転やスケール変換に弱い、という弱点があります。

そこで局所特徴量を使いたいのですが、、、

一方で局所特徴量を計算する手法では、このような複数検出はどのように可能となるのでしょうか？あるいは不可能でしょうか？

藤吉先生 (中部大学)のスライド「画像局所特徴量SIFTとそれ以降のアプローチ」なども読みましたが、
局所特徴量について十分には理解していないため、SIFT以外の他の特徴量でもかまいませんので、その仕組みとともに教えていただけたら幸いです。

Answer 1

こんにちは。

一方で局所特徴量を計算する手法では、このような複数検出はどのように可能となるのでしょうか？あるいは不可能でしょうか？

かなり以前にSIFTかSURFのソース・コードを読んだ記憶があります。確かOpenCVだったと思います。
原理的には、微分絶対値が大きなポイントを中心に周辺をメッシュに区切った各交点の微分値が最もよく一致する場所を探していたように記憶しています。

それを最も良く一致する位置だけでなく、例えば閾値を超える上位3位置等のように修正することで複数点のサーチも可能ではないかと思います。