ノイズやスケール変換に頑健な画像のテンプレートマッチングに関して

Question

上のイラストやの画像(上)から、その画像一部(下)の位置を探すタスクに取り組んでいます。

このページを参考にタスクに取り組み、元画像もテンプレート画像もpngの時にはうまくいくことを確認しました。

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('cat.png')
template = cv2.imread('cat_face.png')
_, w, h = template.shape[::-1]

res = cv2.matchTemplate(img,template,cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
top_left = max_loc
btm_right = (top_left[0] + w, top_left[1] + h)

cv2.rectangle(img,top_left, btm_right, 255, 2)

cv2.imshow("test", img)
cv2.waitKey(0)
cv2.destroyAllWindows()

しかしながら、テンプレート画像の大きさが変わったり、jpgにして圧縮ノイズが入るとうまく動いてくれないときがあります。
(ノイズに関してはイラストやの画像ではOKでしたが、参考ページの猫ではうまくいきませんでした)
「テンプレートマッチング　スケール」などと調べても有効そうな情報が得られず、困っております。

なお想定としては、
・スケール変換はおよそ50%~200%
・ノイズはpng→jpg変換で生ずる程度のもの

と考えております。
どのように解決すればよろしいか、お教えしてくださると助かります。

追記(POCの実装)

位相限定相関法を実装した結果、ノイズに対しては十分に耐性を持っていることが確認できました。ありがとうございます。
下に実装コードを示します。

import cv2
import numpy as np

from matplotlib import pyplot as plt
import matplotlib.patches as patches

img = cv2.imread("ai/ai.png", 0)  # 元画像
template = cv2.imread("ai/ai_part_x92.png", 0)  # マッチング対象のテンプレート画像
im_h, im_w = img.shape  # 元画像のサイズ取得
temp_h, temp_w = template.shape  # テンプレート画像のサイズ取得

template = cv2.copyMakeBorder(
    template,
    0,
    im_h - temp_h,
    0,
    im_w - temp_w,
    cv2.BORDER_CONSTANT,
    (0, 0, 0),
)  # POCができるようにテンプレート画像をパディング

shift, theta_shift = cv2.phaseCorrelate(
    template.astype(np.float32), img.astype(np.float32)
)  # POCでシフト量を取得

rect = patches.Rectangle(
    xy=(shift), width=temp_w, height=temp_h, ec="b", fill=False
)  # テンプレートと一致する部分を四角形で表示

# 図示
plt.subplot(121), plt.imshow(img, cmap="gray")
plt.subplot(121).add_patch(rect)
plt.title("Input Image"), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(template, cmap="gray")
plt.title("Template Image (92%)"), plt.xticks([]), plt.yticks([])
plt.show()

print(shift)  # 最後にシフト量を表示

問題点

しかしながら、スケーリングの問題に関しては92%ほど縮小したテンプレート画像に対して、下のような出力になってしまい、いわば元画像の左上とパディングされたテンプレート画像の右下が一致してしまっております。

>> print(shift) 
# (-198.66021205773234, -197.0159913577939)

下はテンプレート画像を92%に縮小したものです。

負の値となり、矩形はグラフ外に出て不可視となっています。

位相限定相関法とか，スケール自体も探索対象となっているような方法

と伺っていて、多少縮小したものでもうまくいくと思っておりましたが、パディングしたのが悪かったのでしょうか。
cv2.copyMakeBorder()において、二つの画像が同じサイズである必要があるので、パディングさせていただきました。何か良い対処法がございましたらお教えしてくださると助かります。

Comments

[fana]

> テンプレート画像の大きさが変わったり、jpgにして圧縮ノイズが入ると

こういう事柄の程度次第の話になるように思います．
（具体例に対してその例に即した内容の話を（誰かが）展開することはできるかもしれませんが
程度が未知の「全般的な」話というのは困難ではないだろうか？　と．）

[Moririn_1881]

ご質問ありがとうございます。
今回想定しているスケール変換はおよそ50%~200%、ノイズはpng→jpg変換で生ずる程度のものを想定しております。
しかしながら、fana様の位相限定相関法で処理が可能そうなので、そちらで対処したく思います。

[fana]

（スケールの方はともかく，
その程度のノイズでうまくいかなくなるというのは想像し難いですが…）

[Moririn_1881]

質問を編集させていただきました。
ノイズの方はおかげさまで位相限定相関法で無事うまく行きましたが、スケールの方には対応ができておりません。

お時間があれば目を通していただけると助かります。

[fana]

位相限定相関法は，話としては｛並進，回転，スケール｝を扱えるハズなのですが，
OpenCVの phaseCorrelate() 関数は，リファレンスを見ると
"The function is used to detect translational shifts that occur between two images. "
としか説明が書かれておらず，結果も並進情報のみになっているみたいです．
この関数では並進しか扱っていないのだと思います．

[Moririn_1881]

ありがとうございます・

https://kakasi.hatenablog.com/entry/2019/09/26/131702
POCではなく、回転不変位相限定相関(RIPOC)でならスケールもうまく対応してくれるようです。

[fana]

> 回転不変位相限定相関(RIPOC)

そのような呼び分け(?)があるとは知りませんでした．
（"位相限定相関法"という言葉で log-polarな世界で回転とスケールを探す話を含めたやつを指したつもりでした．Sorry.）

[Moririn_1881]

いえいえ、いろいろ相談に乗ってくださり、理解が深まりました
ありがとうございます

Answer 1

matchTemplate()は，スケールや回転といった変形の無い世界を前提としているので，（状況次第ですが）他の方法を採ることを模索してください．

• スケール：

強引に画像をいろんなスケールに拡縮してはmatchTemplate()でマッチングしてみるという手も有り得ますが…
●スケール自体を推測できるならば，そのように手当たり次第にスケールを試さずに済む．
●スケール不変な特徴量を用いるなりする．
●位相限定相関法とか，スケール自体も探索対象となっているような方法を探してきて試す

• ノイズ：

●大したことないなら，「ノイズ除去処理」を前処理として行って対処．
●↑と意味合いが被るが，画像をぼかしてごまかす（低周波成分に重きを置いて比較する）．
●画素単位比較ではなく，モーメントとか色ヒストグラムみたいな「画素の集合」から求められる量を使った比較を試みる