Harrisコーナー検出にて特徴量を算出したいのですが、方法がわかりません。

Question

初めまして。 Python初心者です。
現在画像のマッチング実現のためにHarrisコーナー検出を使用しています。
このときcornerHarris関数を使用していますが、この関数では特徴点しか算出することができません。
ORGやAKAZEみたいにdetectで特徴点を取得し、computeにて特徴量を算出し、
cv2.BFMatcher()等を使用しマッチングをしたいのですが、
cornerHarrisの戻り値であるdstから他の特徴点算出の際に使用されているkeypointへ変換するには、どのようなコードを書けばいいのでしょうか。
また、keypointに変換しなくてもdstからcv2.BFMatcher()で使用できる特徴量を求める方法があるのでしょうか。

以上、宜しくお願い致します。

#Harrisを用いたソースコード（特徴点表示まで）

import cv2
import numpy as np
import sys
import matplotlib.pyplot as plt

fish = cv2.imread('pic/fish.jpg')
fish = cv2.cvtColor(book,cv2.COLOR_BGR2RGB)
g_fish = cv2.cvtColor(book,cv2.COLOR_BGR2GRAY)

gray = np.float32(g_fish)
dst = cv2.cornerHarris(src=gray,blockSize=2,ksize=3,k=0.04)
dst = cv2.dilate(dst,None)

fish= cv2.drawKeypoints(fish, dst, None)

Answer 1

このときcornerHarris関数を使用していますが、この関数では特徴点しか算出することができません。

そういうものだからです．
corner点を検出しよう，というもの（Corner検出器）なのであって，特徴量がどうのいうものではありません．

---

他の「特徴量」に基づいて決められる「特徴点」の位置というのは，必ずしも corner 点ではないですよね．
つまり，そもそも話自体が違う．

Comments

[tsukasa_onimaru]

つまりHarrisコーナー検出で画像のマッチングをすることは不可能ということでしょうか。

[fana]

別に，「コーナー点がマッチング処理に有用であろう」と考えること自体は自由だし，やってみればいいじゃないか，と思う．

複数のコーナー点の位置が２つの画像｛A,B｝から得られたとして「A側のあるコーナー点というのは，B側のどのコーナー点に対応するんだろうね？」っていう問題をどうにかするための何か（特徴量）が不足しているのであれば，それは別途用意してあげればいいのでは．
e.g. ある座標(x,y)における「特徴量」が計算できるならば，計算して用いればいい．

ただ，
そのための既存実装があるのかどうかは不明だし（無ければ自前で実装すればいいだけだが），
BFMatcher()というので使える形にもっていくためにどれだけ苦労があるかもわからないけども．

[tsukasa_onimaru]

ご回答ありがとうございます。
調べた限り既存のものがないようなので特徴量算出、及びその特徴量を引数にしたマッチング関数を一から実装しなくてはならなさそうですね。
参考書等にマッチング手段としてORBやAKAZE等と同系列で扱われていたので既存のものでできると思っていました。

[fana]

Harrisであることにこだわらないならば，別の手段を用いてみては？
CVのここら辺の実装を使ったことないので詳細不明ですが，
GFTTDetector とかなら，コーナー検出であり，且つ，keypoint型で結果が得られるのではないでしょうか？
（で，keypoint型で特徴点のデータがあれば，他の特徴量算出手段に特徴量を算出してもらえるのかも）