テンプレートマッチングの精度を向上させたいです。

Question

python opencvを用いてテンプレートマッチングを行っています

リンク内容

このサイトを参考にしているのですが、

# 検索窓の範囲を描画する。
fig, ax = plt.subplots(facecolor="w")
ax.add_patch(plt.Rectangle((x, y), w, h, ec="r", fc="none"))
ax.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))

plt.show()

print("similarity:", result[x, y])  # similarity: -0.0350026

この部分は、テンプレートマッチングのサブセットと考えて良いのでしょうか？？
実際に作成するときは、変形後のサブセットは最初に正方形を定義したとしても正方形を維持するとは限らないので、サブセットは入力画像により変形するものにしたいのですが、plt.Rectangle の意味と、どのようにプログラムを書いたらよいかどなたか教えてください

リンク内容

Answer 1

この部分は、テンプレートマッチングのサブセットと考えて良いのでしょうか？？

cv2.matchTemplate() の返り値 result は、検索窓を動かしていったときの各位置でのテンプレート画像とその領域の類似度が入っています。
質問のコードは result[x, y] が、検索窓が画像のどの位置にきたときの類似度の値なのかを画像に検索窓を描画することで可視化したコードであり、テンプレートマッチングの処理そのものとは関係ありません。

テンプレート画像は正方形でなくても、任意の長方形の大きさで構いません。

Comments

[stylenanda]

分かりづらい質問に対して、丁寧に答えていただきありがとうございます。

追加で質問なのですが、テンプレート画像からある部分をサブセットとして定義し、そのサブセットが入力画像でどの位置にあるかを探索するにはこのコードをどのように書き換えればよいでしょうか

[tiitoi]

「テンプレート画像からある部分をサブセットとして定義し」というのはどういう意味でしょうか？
テンプレート画像と最もマッチする画像の位置を取得したいということですか？

[stylenanda]

質問にリンクを追加しました。
この質問者様のようなテンプレートマッチングをpyrhonで行いたいのですが、変形前の画像からサブセットを定義し、そのサブセットが変形後の画像の中でどの位置になるかというのを探索したいです

「テンプレート画像からある部分をサブセットとして定義し」とはそういう事を言いたかったです。素人で申し訳ありません。

結論を申しますと、このリンクの質問者様と同じようなことをpythonで行いたいです。

[tiitoi]

リンク先を拝見しました。以下のようにすればよいと思います。
1. 変形前の画像のサブセット部分を切り抜いて、テンプレート画像とする。
2. cv2.matchTemplate(変形後の画像、テンプレート画像) でテンプレートマッチングを実行する。
3. 類似度が最も高い位置を cv2.minMaxLoc() で得る。

これでサブセットが変形後の画像の中でどの位置かというのがわかると思います。
2, 3 については質問の最初のリンク先に記載があります。
1. については対象となるサブセット部分を以下のようにして切り抜いてください。
https://www.pynote.info/entry/opencv-clip-image

[stylenanda]

ROI抽出してテンプレート画像とするやり方を教えてくださりありがとうございます。