スクリーンショットに対するOpenCVのテンプレートマッチングの精度が悪い

Question

前提・実現したいこと

画面の一部をスクリーンショットでキャプチャして，事前に用意した画像のどのあたりにキャプチャした内容が含まれているか判定したいです．

発生している問題

テンプレートマッチングの精度が低く，全く異なる位置とテンプレートマッチングします．
スクリーンショットを一旦書き込んで再読み込みするととりあえずは解消しますが，処理速度を速くしたいのとファイルの作成は出来るだけ控えたいので，別の方法でこの問題を解消したいです．

該当のソースコード

デスクトップ画面のゴミ箱のあたり(left, top, width, height) = (60, 20, 40, 40)をスクリーンショットでキャプチャして，
事前に用意しておいたデスクトップ画像のどこにキャプチャとの類似領域が存在するか判定するプログラムです．

最終的には，画面に次々現れる大量のアイコンを順にキャプチャして，事前に用意した全アイコンを表状に並べた画像中からキャプチャした対象とマッチするものを発見するプログラムにするつもりです．

import pyautogui
import cv2
import numpy as np

IMG_DESKTOP = cv2.imread("desktop.png")

if __name__ == '__main__':
    # スクリーンショット
    cap = pyautogui.screenshot(region = (60, 20, 40, 40))

    # 方法1
    print("方法1")
    result = cv2.matchTemplate(IMG_DESKTOP, np.uint8(cap), cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
    top_left = max_loc
    print("位置：", top_left)
    print("類似度：", max_val)

    # 方法2
    print("方法2")
    cap.save("cap.png")
    img_tmp = cv2.imread("cap.png")
    result = cv2.matchTemplate(IMG_DESKTOP, img_tmp, cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
    top_left = max_loc
    print("位置：", top_left)
    print("類似度：", max_val)

結果

方法1
位置： (67, 644)
類似度： 0.3924467861652374
方法2
位置： (60, 20)
類似度： 0.9999991059303284

試したこと

上のコードの方法1のようなファイル読み書きをしない方法で実装したいです．
方法1と方法2を10000回繰り返すと，方法1の方が50秒も速く終わりました．
しかし上の結果の通り，方法1では(60, 20)とはまったく違う場所をマッチングしました．類似度も小さいです．

uint8へのキャストがマズいのかと思い，np.uint8をnp.float32に変えてみましたが，以下のようなエラーが返され，キャストはnp.float32では良くなさそうだというところまでは来ましたが，それ以上長時間手詰まりになってしまいました．

cv2.error: OpenCV(4.4.0) C:\Users\appveyor\AppData\Local\Temp\1\pip-req-build-9d_dfo3_\opencv\modules\imgproc\src\templmatch.cpp:1163: erro163: error: (-215:Assertion failed) (depth == CV_8U || depth == CV_32F) && type == _templ.type() && _img.dims() <= 2 in function 'Template'cv::matchTemplate'

補足情報（FW/ツールのバージョンなど）

python 3.8.5
opencv-python 4.4.0.44
PyAutoGUI 0.9.52

Answer 1

pyautogui.screenshot が返すデータのフォーマットが何なのか知りませんが，OpenCVのMatとして扱うためには適切な変換が必要なのではないでしょうか．

ググったらこんなの出ました．

Answer 2

経験上の話ですけどテンプレートマッチは事前にどういうふうにマッチさせたい画像を前処理するかで
精度が変わってくると思ってます。デスクトップ画面だと画像なので白黒に変換するのが効きそうです。
私の手前記事なのですが、
https://qiita.com/ykato/items/0d78275187a3d79bb18c
https://github.com/yasutakatou/webcamops/blob/master/webcamops.py
こんな風に形を白黒でハッキリさせたうえで、類似度の計算方法をcv2.TM_CCORRに変えたりで精度はあげられると思います。という具体的なコード修正でなくて、精度向上のためのネタとなりますがいかがでしょうか？