pyautoguiを用いたブラウザ自動化の質問

Question

前提・実現したいこと

WebDriverを用いて開いたChrome内の
ボタンをクリックしたいと考えています。

下記ソース内にあります、
driver = webdriver.Chrome()
driver.get('https://www.yahoo.co.jp')
で開いたChromeで
x,y = pg.locateCenterOnScreen('sample.png')
を実行した際にうまく画像認識しません。

発生している問題・エラーメッセージ

例外が発生しました: pyscreeze.ImageNotFoundException
Could not locate the image (highest confidence = 0.582)

該当のソースコード

import pyautogui as pg
from selenium import webdriver
import chromedriver_binary

driver = webdriver.Chrome()
driver.maximize_window()
driver.get('https://www.yahoo.co.jp')

x,y = pg.locateCenterOnScreen('sample.png')
pg.click(x,y)

試したこと

サンプル画像はこちらです。

WindowsアプリとしてChromeを通常起動し、
'https://www.yahoo.co.jp'を開いた画面を用意。
この状態で
x,y = pg.locateCenterOnScreen('sample.png')
のみを実行した場合はうまく認識され、座標が返ってきます。

webdriver.get()を用いて開いたChromeと
通常起動したChromeでは認識する際に何か異なる点があるのでしょうか。

ご教授お願い致します。

Answer 1

まず、locateOnScreenの前にtime.sleep(5)程度の待ちを実行します。
さらに画像認識が結構シビアなようなので
x,y = pg.locateCenterOnScreen('sample.png', grayscale=True)
とgrayscale指定し、以下の画像を利用することで、動作することを確認できました。

Comments

[hnkahd]

ご回答ありがとうございます。
grayscaleの指定はしましたが、私が用意した画像では
認識不可でした。
can110様が用意した画像をダウンロードして使用しましたが
その場合は認識できる結果です。
そもそもsample.pngとして用意する画像の問題もありますでしょうか？

[can110]

質問画像には白い余白部分が少しふくまれており、それが問題だった可能性があります。
回答にも記載しましたが、けっこうシビアに判定されるので、できるだけキレイに認識したい領域を切り取った画像を用意すべきかと思います。

Answer 2

seleniumで操作されたChromeかどうかはJSの名前空間（？）を調べると判別可能なので、その点が異なるといえば異なるんだと思います。