イメージマッチングをして、web上にある任意の画像をクリックしたい

Question

画像認識をした上で、webサイト上の任意の画像をクリックしたいと考えています。

Google Topページの「Google検索」をクリックする場合）
任意の画像（search.png）：

# actionchainsで解決できそうな気がしたが、対象要素をどうのように指定して良いかわからず。。。。

element = "search.png"
action = webdriver.common.action_chains.ActionChains(driver)
action.move_to_element_with_offset(element, 0, 0)
action.click()
action.perform()

下記を参考にpyautoguiモジュールでもトライしてみましたが、
PyAutoGUIの使い方 スクリーンショット・画像認証編
https://bit.ly/34JsTH5

"TypeError: cannot unpack non-iterable NoneType object"
のエラーを解決できなかったため、別の方法を模索しております。

上記以外のやり方でも構いませんので、解決方法もしくは参考サイトをご教示いただけましたら幸甚です。
何卒よろしくお願い申し上げます。

Comments

[shirai]

一応確認なんですが、これ打ってみてください。
driver.set_window_size(driver.execute_script('return document.body.scrollWidth'), driver.execute_script('return document.body.scrollHeight'))
driver.save_screenshot('test.png')

test.png内にあるボタンの画像が手元と全く同じか見てみてください。
pythonで開くブラウザと手動で開くブラウザで画像が微妙に違う可能性もあります。

[john_doe_]

ご案内いただいたcodeを実行して、スクショの画像を確認しましたが、
特に違いは見られませんでした。

Answer 1

PyAutoGUIを利用することで解決しました。