openCVを使い画面上に画像ファイルと一致する画像があるか調べるコードを作りました。しかし、黒い四角の画像が判定できません。

Question

あちこち写経しながらですが、openCVを使い画面上に画像ファイルと一致する画像があるか調べるコードを作りました。
画像ファイルと一致する画像があれば、その座標を返す。また、画像の類似度の閾値を引数で渡せるようにしてあります。

普通の画像はファイルがBMPでもJPGでも問題なく動きます。

しかし、100×100ほどの黒一色ベタ塗りの四角の画像のファイルを作ったのですが判定できません。
画面上にそういう黒い塊を表示させるまでもなく、そういう画像が存在すると判定されてしまいます。

画像の閾値をthreshold=1.0としても、どうも画像の完全一致検索にはなってないみたいです。
それと、色の違いを認識できているのか………

画面上に100x100くらいの黒い画像が表示されたときに、分かるようにしたいのですが……。
完全画像一致にする方法とか、色の違いをきちんと認識させる方法とか、なにかの方法で黒一色の画像を認識出来るようになると嬉しいです。
よろしくお願いします。

作った画像識別コードImgcheckは以下の通りです。

import cv2
import numpy as np
from PIL import ImageGrab


# OpenCVのcv2.imreadは日本語がつかえないなので画像をimedecodeでメモリに一度読み込む
def imread(filename, flags=cv2.IMREAD_COLOR, dtype=np.uint8):
    try:
        n = np.fromfile(filename, dtype)
        img2 = cv2.imdecode(n, flags)
        return img2
    except Exception as e:
        print(e)
        return None


def chkimg(image, imgminx=0, imgminy=0, imgmaxx=0, imgmaxy=0, threshold=0.9, method=1, equalizeHist=0, gray =0):
    if imgminx == imgminy == imgmaxx == imgmaxy == 0:
        imgtemp = ImageGrab.grab()
 
    else:
        imgtemp = ImageGrab.grab((imgminx, imgminy, imgmaxx, imgmaxy))

    Screencap = np.asarray(imgtemp)

    # カラー変換
    Screenimg = cv2.cvtColor(Screencap, cv2.COLOR_RGB2BGR)
    if gray ==1:
        Screenimg = cv2.cvtColor(Screencap, cv2.COLOR_BGR2GRAY)

    #		temp = cv2.imread(finalname, 0)
    #モノクロオプション削除

    temp = imread(image)
    if gray ==1:
        temp = imread(image, 0)

    if equalizeHist==1:
        Screenimg = cv2.equalizeHist(Screenimg)
        temp  =cv2.equalizeHist(temp)


    # 画像比較法
    methods = ['cv2.TM_CCOEFF', 'cv2.TM_CCOEFF_NORMED', 'cv2.TM_CCORR',
               'cv2.TM_CCORR_NORMED', 'cv2.TM_SQDIFF', 'cv2.TM_SQDIFF_NORMED']

    # マッチングテンプレートを実行
    # print(methods[method])
    Comp_result = cv2.matchTemplate(Screenimg, temp, eval(methods[method]))
 
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(Comp_result)
    # max_valが類似最大値の左上座標

    if max_val < threshold:
        # print(image + " 一致せず", methods[method],"equalizeHist=",equalizeHist)
        print(image + " 一致せず")
        return (0)
    if max_val >= threshold:
        print(max_loc)
        return (max_loc)

Answer 1

想像ですが，分母に画像のノルムを用いる評価関数だと全0の際に計算できないという話ではないでしょうか．
(_NORMEDと付くやつは，正規化のために画像のノルムによる除算が入るハズ）

正規化されない方法（TM_SQDIFFなど）の場合でも，うまくいかないのでしょうか？
（用いる評価関数によって計算値が小さいほうが良いか大きいほうが良いのかは異なるのではないでしょうかります．現コードでは常にmax側を見ているので，TM_SQDIFF等を使う場合にはそこを直さないとダメかもです）

Comments

[Aki1000]

回答ありがとう御座います。写経して作ったので、Methodの違いとか意識しておりませんでした。
mithod=4としてTM_SQDIFFとしたところ今まで座標(0,0)に黒い四角あるとされていた表示が変わりました。一応なんかの座標を返してはくるのです。
しかしながら、method=4,threshold=1.0としても黒い四角なんか画面上に無いにもかかわらず、真っ白い画面のところとかに反応してヘンな値を返してきます……。

[fana]

回答で述べたように，TM_SQDIFFの場合には，結果は小さい方が良い：すなわち「最小値」の箇所に関して判定を行うべきですが，そのようにしていますか？
（当然，thresholdについても，計算される値の意味に対応した値にしないとダメ）

[fana]

OpenCVのリファレンスでmatchTemplateについて調べてください．Method毎に何が計算されるのかが数式で書かれているハズです．
テンプレートとの差（違い）を表す値を計算する場合は，結果の値は小さい方が良く，
テンプレートとの相関（似具合）を表す値を計算する場合には，結果の値は大きい方が良い，ということになります．

[fana]

matchTemplateの結果を把握するために，一度 Comp_result を可視化してみると良いのではないかと．

[Aki1000]

Comp_resultを可視化してみました。確かにMethod=1の時は全て1が並ぶ行列。逆に0だと全て0。
なのでimgcheckをいじって、Method=4についてはthresholdより小さい時が正解というように治しました。

Method=4の時のみ数値を出しましたがComp_resultの行列の要素は3.3784192e+09などと非常に高い値がでています。真っ黒い画像がある時と無いときで変わるかと思いましたが、どうにもやはり、テンプレートの画像は真っ黒いしかくなのに、真っ白い画面を正解として見てしまっている感じがします……

画像の完全一致の判定……難しい

[fana]

TM_SQDIFFの場合，計算値はSSD（画素値の差の２乗を総和）なので，値はかなり大きいハズです．

真っ白い個所が最小値(min_val, min_loc)になってしまうということですか？　不思議です．
TM_SQDIFF時のComp_resultを適当に正規化（例えば最小値～最大値を0～255にとか）して目視してみたら，白い個所と黒い個所とで結果の差が見えませんか？

[Aki1000]

正規化……それやると便利そうですね……。けど、今一やり方が。

min_valで判定したのにmax_locの表示のままでした。
修正しました。これで試してみます。

[Aki1000]

ところで、
CCOEFFは計算値が大きいほうが良い
SQDIFFは計算値が小さいほうが良い
ですよね？

CCORRも大きい方が良い、でしょうか？

[Aki1000]

動作は上手くいきました！
TM_SQDIFFでthreshold=1.0e8としてやることで、出来ました。
うーむ、正規化出来ないと、Comp_resultの表示をいちいちしながらthrethholdの値決めないといけない……
これだけが少しネックです。
しかし、おかげさまで動きました。

[fana]

> 正規化

最小値と最大値が計算できているのですから，正規化後画像を8bit1chで用意して
正規化後の画素値 = (Comp_resultの画素値 - 最小値) * 255 / (最大値-最小値)
とすればよいのではないでしょうか．
(pythonがわからんので，それをさくっと書く方法は示せませんけど）