python pyautogui 画像認識できない

Question

#python pyautoguiを使用し画像認識を試そうと思ったのですが、confidenceでエラーが出ます。
どうしたら認識できるのでしょうか。
以上、よろしくお願いいたします。

実行コード
import pyautogui as pg
from time import sleep

center = pg.locateCenterOnScreen("/Users/gorigorinogorira/Desktop/zoom_all/end.png",
 grayscale=True, confidence=0.8)
print(center)

コード

エラーコード
File "test.py", line 5, in <module>
    grayscale=True, confidence=0.8)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyautogui/__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyautogui/__init__.py", line 207, in locateCenterOnScreen
    return pyscreeze.locateCenterOnScreen(*args, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 400, in locateCenterOnScreen
    coords = locateOnScreen(image, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 360, in locateOnScreen
    retVal = locate(image, screenshotIm, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 340, in locate
    points = tuple(locateAll(needleImage, haystackImage, **kwargs))
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 135, in wrapper
    return wrappedFunction(*args, **kwargs)
TypeError: _locateAll_python() got an unexpected keyword argument 'confidence'
コード

Comments

[tiitoi]

print("center") ではなく、print(center) では？
print("center") だと変数ではなく、文字列を出力しているだけになりますよ

[goliragolira]

ありがとうございます！
本当ですね、かなり初歩的な間違えでした笑

[tiitoi]

None が返ってきたということは指定した画像とマッチする場所が見つからなかったということです。confidence を低い値に設定し、マッチする基準を下げてはどうでしょうか？
pg.locateCenterOnScreen("/Users/gorigorinogorira/Desktop/zoom_all/end.png", confidence=0.80)

[goliragolira]

迅速なご対応ありがとうございます。助かります。
今度はconfidenceでエラーが出てしました泣

[tiitoi]

OpenCV が入っていないとそのエラーが出るみたいです。pip でインストールしてからもう一度ためしてみてはどうでしょうか。
pip install opencv-contrib-python

ちなみにマッチさせたい箇所と指定した画像は大きさや色は完全に同一ですか？
マッチに失敗しているので、もう一度キャプチャしてマッチ対象の画像を作り直すのも有効かもしれません。

[goliragolira]

かしこまりました、試してみます。
わざわざ調べてもらいありがとうございます。

[goliragolira]

写真も他のに変えたりして何度かやってみたのですが
やはり同じエラーが出てしまいます。

他の手を考えた方が良いですかね。

[tiitoi]

PyAutoGUI で画像の箇所を探すというのは「テンプレートマッチング」という手法を使っているのですが、なぜマッチに失敗したのかは実際にこちらで実行して試すことはできないので、回答できないです。力になれずすみません。

[goliragolira]

いえとんでもないです。ここまでしていただいただけで十分助かりました。
よろしければベストアンサーに選びたので、空欄でも良いので回答していただくことは
可能でしょうか。

以上、よろしくお願いいたします。

[tiitoi]

わかりました。質問に対する答えにはなっていませんが、他の方が見たときように考えられる一般的な原因を書きました。

Answer 1

locateCenterOnScreen() はマッチに失敗すると None を返します。
マッチに失敗する原因として以下が考えられます。

• 探したい箇所 (ボタンなど) の見た目や大きさが指定した画像と変わってしまっている
• 指定した箇所が存在しないまたは他のウィンドウなどで隠れて画面上に見えなくなっている
• シングルディスプレイでない (ディスプレイが2つ以上) 場合、メインディスプレイ上のものしか見つけられないみたいです。

テンプレートマッチングで画面上にあるかどうか探す仕組みなので、画像と全く同じものがディスプレイ上に見える状態になっていないとそもそも検索できません。

サンプルコード

teratail の「質問する」ボタンの位置を取得するサンプルコード

import pyautogui as pg

center = pg.locateCenterOnScreen("template.png", grayscale=True, confidence=0.8)
print(center)  # Point(x=1504, y=128)

_locateAll_python() got an unexpected keyword argument 'confidence' というエラーが出る場合は、OpenCV がインストールされていないのが原因なので、pip install opencv-contrib-python でインストールします。

Comments

[goliragolira]

titoiさんご対応丁寧にしていただきありがとうございました。
これからも試行錯誤しながらプログラミングを続けてみます！