AKAZEの『modified-local difference binary』の具体算法は？

Question

"modified-local difference binary"の具体算法を見たいですけれども、
いくら検索しても、
"diffusion"や『異方拡散』という言葉をどのWEBぺーじも同じ表現していて(その概念自体新味がないにも拘らず)、
肝心の"modified-local difference binary"に対する説明がないか、
一言二語程度しか出なかったのです。(みなOpenCVまかせ状態 笑)

これはどういう事でしょうか。理解できません。
『秘密』ではないでしょう？

##"modified-local difference binary"に関する詳しい情報をご提供頂ければ幸いです。

Answer 1

詳しい情報ではなく、調べ方についての回答となります。

---

AKAZEの元論文はこちらです。
Fast Explicit Diffusion for Accelerated
Features in Nonlinear Scale Spaces

To preserve low computational demand and storage requirement, we also introduce a highly efficient Modified-Local Difference Binary (M - LDB) descriptor. While the original LDB descriptor presented in [20] is neither rotation nor scale invariant as BRIEF is, we build a robust binary descriptor that is rotation and scale invariant and exploits gradient information from the nonlinear scale space, increasing distinctiveness.

M-LDBは、LDBを回転不変およびスケール不変にしたものだそうです。

---

さて、元のLDBを提唱している論文はこちらです。
LDB: An Ultra-Fast Feature for
Scalable Augmented Reality on Mobile Devices

3章『LDB: LOCAL DIFFERENCE BINARY』に詳細な説明があります。

---

これを読んでわからないところは引用元をさらにたどるか、実装を覗くしかないように思います。

Comments

[oookabe]

<<Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces >>をよく読んでから、作者が宣伝されている【Modified-Local Difference Binary (M - LDB) descriptor】を調べたかったのです。上記論文の中に具体算法を紹介されなかったために。
LDBやその欠点を知っているこそ、改善の具体方法を知りたいのですね。
ところが　 ひーみーつ？

[LouiS0616]

既に読了されているならば私はお力になれません。

[oookabe]

LouiS0616さん
本当にありがとうございました。

Answer 2

Instead of using the average of all pixels inside each subdivision of the grid, we subsample the grids in steps that are a function of the scale σ of the feature. This approximation of the average performs well in our experiments. The scale dependent sampling in turn makes the descriptor robust to changes in scale. This process is depicted in Fig. 1(b). MLDB uses the derivatives computed in the feature detection step, reducing the number of operations required to construct the descriptor.

https://github.com/opencv/opencv/blob/7dc88f26f24fa3fd564a282b2438c3ac0263cd2f/modules/features2d/src/kaze/AKAZEFeatures.cpp#L1991

OpenCVに実装されているのなら秘密も何も、ソースコードが全部公開されています。

別にMLDBを使わないとAKAZEとはいえないほど本質的なものではないので、あまり困ることはないようにも思いますが、特別な懸念があるのであれば質問に追記していただければと思います。

Comments

[oookabe]

mkgreiさん いろいろ本当にありがとうございます。 自分は長い間SIFTと付き合ってきたため、最近AKAZEの性能がSIFTより優れると聞いて、AKAZEに注目していますが、detectorはHessianで、AKAZEより遙か以前流行していましたし、所謂『異方性拡散』(Anisotropic diffusion equation)はもっと歴史長いと思います。 なので、いったいAKAZEの作者が何をなさって、性能やマッチング精度を改善したか、興味がありました。 まあ、そういう特徴点マッチングのやり方は非常にデリケートで、アプリケーションが貧弱だ[注]と思いますが、作者のアイディアには興味があります。 ＝＝＝＝＝ [注]　特徴点の検出も descriptorもデリケートで、マッチングミスが通常多発するはずです。 位置決めのために多量の特徴点を用いてRANSACで淘汰して行って、本物を保留しなければなりません。 そして位置決めのためにも、物を認識するためにも、多量の有効ペアデータが必要なので、さらに特徴点の数を要求します。 ところが、現実の対象物にはそんなに多量の安定したcorner点があるわけありませんね。 （この類の方法をデモする画像の共通性として、幾何的な柄が強い＆多い対象物が使われています。） やはり、物の認識には"方法論"としてDNNのほうはベストと思います。 そっちのほうまた宜しくお願い致します。 (お手数をお掛けしました)

Answer 3

このレベルの話になると、学術論文をあたるしか道はないように思います。
そして学術論文はたいがい有料であるため、ネットには情報が無いのだと思います。

Comments

[oookabe]

"diffusion"『異方拡散』などの概念や算法のほうはよっぽど「学術的」ですね。
でも散々に述べられています。