テンプレートマッチングを行いたいです。

Question

言語:python
ライブラリ:Opencv

を利用しています。プログラミング超初心者です。よろしく御願いします。

cv2.matchTemplate()で相関を求め、テンプレートマッチングを行っています。
今までは、

fig, ax = plt.subplots(facecolor="w")
ax.add_patch(plt.Rectangle((x, y), w, h, ec="r", fc="none"))
ax.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))

plt.show()

のように、四角形を描画し、その四角形の左上の座標と最も近似する部分を入力画像から探すという手法でした。
しかし、私が本来行いたいことは、左上の座標だけで無く、四角形を描画したのならば、その四角形の頂点の座標がそれぞれ入力画像中でどこと近似しているかということを表したいです。
そのため、最初に描画したのが四角形だとしても、入力画像の結果では、いびつな四角形でもかまわないです。

そのため、四角形を描画することではなく、4点をプロットして、それぞれの点がマッチする部分を入力画像中に示し、最後にその4点を線で結ぶというプログラムを作成したいのですが、この場合どのような関数、ソースコードを使えば良いか何方か知恵をお貸しください。

リンク内容

ちなみに、上記のリンク内容などを参考にしています。
テンプレートマッチングの他に特徴量抽出なども考えていますが、どのくらい移動しているか数値的結果がほしいのでその辺もアドバイスいただけると恐縮です。

長文乱文で申し訳ありません
よろしく御願いします。

Comments

[fana]

探索される側の画像（入力画像）としては，何かまっさらな背景の上に四角形を描画したような人工的な絵を想定しているのでしょうか

[stylenanda]

コメントありがとうございます。
同じ視点からの構造物の画像を比較し、その画像に違いが生じていればその部分でひずみ、応力が生じているということを示したいです

Answer 1

同じ視点からの構造物の画像を比較し、その画像に違いが生じていればその部分でひずみ、応力が生じている

（追記・修正欄より引用）

画像の程度等に依りそうですが，
画像Ａと画像Ｂを比較する場合に，ＡとＢの具合の差がそれほど大きくない，すなわち，画像Ａ内のある位置pに対応する画像Ｂ内の位置がqであるとき…

• pとqが座標としてすごい離れているというわけではない
• p付近の絵とq付近の絵を比べるとすごい回転しているわけではない
• etc

…という想定なのであれば，「オプティカルフロー」という話で調べてみても良いかもしれません．

Comments

[stylenanda]

オプティカルフローについてのサイトを見つけたので調べてみたいと思います。
ありがとうございます。

Answer 2

matchTemplate()では、画像同士の類似度なので、どの場所がどの程度、動いたかの判断は難しいのでは? と思います。
類似度の判断には、拡大縮小、移動/回転もあります。

四角形のそれぞれの角に対して、類似度判定を行うべきでは?
ちょっと効率悪そうですが、すぐに思い当たる関数が無い...。

Comments

[stylenanda]

コメントありがとうございます。
とても参考になりました。