pyautoguiで画像を見つけやすくするには

Question

#やりたいこと
pyautoguiをつかって画像を自動クリックしたい

#問題
見つけられる画像と見つけられない画像があるため、自動クリックが上手くできない
具体的にはgoogleの画像は見つけることができたのですが、

以下の画像を見つけることができませんでした。

#質問
コードとしては下記に示している通りです。画像取得をうまくできる方法がありましたらご教示いただけますでしょうか。よろしくお願いいたします。

import time
import pyautogui as pg


#画像ファイルから座標を取得する処理
def get_locate_from_filename(filename):
    locate = None
    time.sleep(3)
    #グレイスケール処理で95%一致判定
    #検索画像の座標取得
    print(filename)
    try:
        locate = pg.locateCenterOnScreen(filename,grayscale = True,confidence=0.8)
        return locate
    except:
        print("画像ありません")
        return False
    
if __name__ == '__main__':
    button_position = get_locate_from_filename("tail.png")
    if(button_position != None):
        #pg.click(button_position)
        print("button_position = {}".format(button_position) )
        pg.click(button_position)
    else:
        print("見つかりません")            

Answer 1

OpenCV は入っていますか？入ってないと confidence 引数は無効になります。pip install opencv-python などでインストールしてください。

解説

OpenCV がない場合、pyautogui の使っている pyscreeze というライブラリは Python で書かれた画像一致検索を試みます。このコードは曖昧検索が出来ず、完全一致しか出来ません。Web 上にある「画像」は完全一致であることが（ズーム率が変更されていない限り）保証されますが、テキストはそうではありません。それはなぜかというとテキストは OS によって描画されるベクター画像だからです。ベクター画像等はなんぞやというのはさておき、ベクター画像は内部的な位置によってピクセルになったときの画像（ラスター画像と呼ぶ）が違います。なので完全一致検索をした時テキストがうまく検索できないというわけです。