常連

初歩的な質問かもしれませんが色々とやってダメだったのでご質問させてください。

### 前提・実現したいこと
Pyautoguiで画像認識を行い工程を進めさせていくようなものを作りたいと考えており
先ずは、画像認識が正常に動作するかのテスト段階でつまずいております・・・

参考サイトをもとに実施してみましたが
画像認識部分で以下のようなエラーが出て困っております。
▽参考サイト
https://rightcode.co.jp/blog/information-technology/python-automate-human-operations-with-pyautogui-image-recognition


### 環境情報
環境：Windows10 バージョン20H2
Python 3.9.2
場所：C:\Python\

■インストール
>pip3 install pyautogui
～略～
Successfully installed PyTweening-1.0.3 mouseinfo-0.1.3 pyautogui-0.9.52 pygetwindow-0.0.9 pymsgbox-1.0.9 pyperclip-1.8.2 pyrect-0.1.4 pyscreeze-0.1.26

>pip3 install opencv_python
～略～
Successfully installed numpy-1.20.1 opencv-python-4.5.1.48

### 発生している問題・エラーメッセージ

```python
>>> import pyautogui
>>> pyautogui.locateOnScreen(r'C:\Python\Windows_logo.png')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 213, in locateOnScreen
    return pyscreeze.locateOnScreen(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 359, in locateOnScreen
    screenshotIm = screenshot(region=None) # the locateAll() function must handle cropping to return accurate coordinates, so don't pass a region here.
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 134, in wrapper
    raise PyScreezeException('The Pillow package is required to use this function.')
pyscreeze.PyScreezeException: The Pillow package is required to use this function.
>>>
>>>
>>>
```



### 試したこと
適当に存在しない参照先をやっても同様のエラー
```python
>>> pyautogui.locateOnScreen(r'C:\Python\test_test')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 213, in locateOnScreen
    return pyscreeze.locateOnScreen(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 359, in locateOnScreen
    screenshotIm = screenshot(region=None) # the locateAll() function must handle cropping to return accurate coordinates, so don't pass a region here.
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 134, in wrapper
    raise PyScreezeException('The Pillow package is required to use this function.')
pyscreeze.PyScreezeException: The Pillow package is required to use this function.
```
C:\Python\test_test →存在しない

参照先が読めないとかではなく、それ以前の問題と思われますので
まずはこのエラーと思い、一つ一つ参照先の行を見てもわからず・・・
ググっても具体的な解決が見つからく解決策をお教えいただけないでしょうか。

Pyautoguiでの画像認識でエラー

#python pyautoguiを使用し画像認識を試そうと思ったのですが、confidenceでエラーが出ます。
どうしたら認識できるのでしょうか。
以上、よろしくお願いいたします。

```
実行コード
import pyautogui as pg
from time import sleep

center = pg.locateCenterOnScreen("/Users/gorigorinogorira/Desktop/zoom_all/end.png",
 grayscale=True, confidence=0.8)
print(center)

コード
```

``` 
エラーコード
File "test.py", line 5, in <module>
    grayscale=True, confidence=0.8)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyautogui/__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyautogui/__init__.py", line 207, in locateCenterOnScreen
    return pyscreeze.locateCenterOnScreen(*args, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 400, in locateCenterOnScreen
    coords = locateOnScreen(image, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 360, in locateOnScreen
    retVal = locate(image, screenshotIm, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 340, in locate
    points = tuple(locateAll(needleImage, haystackImage, **kwargs))
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 135, in wrapper
    return wrappedFunction(*args, **kwargs)
TypeError: _locateAll_python() got an unexpected keyword argument 'confidence'
コード
```

python pyautogui 画像認識できない

### 実現したいこと

SeleniumでSalesForceを自動化させようとしているのですが、目的のブラウザを開き、コピーやスクロールはできるものの、タブボタンを押すなど特定のキーボード操作を自動化することができない。

SalesForceのショートカットにタブを押すと次の欄に移れるというものがあるため、それをPythonで実現したい。

### 前提
Windows, Chrome。社内用PCであるため、URLや画面は持ち出すことができず。。


### エラーメッセージ
[12728:20664:0623/082118.936:ERROR:interface_endpoint_client.cc(697)] Message 0 rejected by interface blink.mojom.WidgetHost

[12728:20664:0623/082121.001:ERROR:device_event_log_impl.cc(222)] [08:21:21.006] USB: usb_service_win.cc:415 Could not read device interface GUIDs: The system cannot find the file specified. (0x2)



こちらネットでググっても有効な情報が見つけられず、回答をいただければと思います。
### 該当のソースコード

```Python

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains


CHROMEDRIVER = r"C:\Users\name\Desktop\chromedriver.exe"
 

options = Options()

driver = webdriver.Chrome(options=options)
 
driver.get('https://…)
actionChains = ActionChains(driver)

driver.maximize_window()

act = ActionChains(driver)

act.key_down(Keys.PAGE_DOWN)

act.key_down(Keys.TAB)
act.key_down(Keys.TAB)
act.key_down(Keys.TAB)

act.perform()

```

### 試したこと

キーボード操作がWindowsやパソコンのセキュリティに邪魔されて実行不可になってるかなと思い、その線を当たったのですが、いまいち解決できず。

またコピペやスクロールは可能、XPATHで特定の要素を取得することは可能なのですが、テキスト入力などをするとおかしな出力になるため、そもそもSalesForceとSeleniumの相性が悪いのでは？とも思いましたが、そういったこともありうるのでしょうか？


SeleniumでChromeを自動化し、キーボードを押下しようとすると見たことがないエラーが出る

### 前提・実現したいこと

OCR機能を用いてアイコンをクリックする動作をさせたいです。
※下記コードのようなPyautoguiで画像をサーチする方法ではなく、
　文字をサーチする方法でクリックさせたいです。

```Python
import pyautogui as pg
position=pg.locateOnScreen('search.bmp') 
pg.click(position)
```


例えば、windowsのcalenderを立ち上げる場合、
下記コードでcalenderアプリを含む画像を取得し、

```Python
pg.press('win')
sc = pg.screenshot(region=(0, 0, 500, 700)) 
```

pyocrを用いて画像内の「calender」の文字列を抽出するところまで
できました。

しかし、この文字列がある座標を取得する方法がわからない為、
クリックができないです。


知見がある方がいらっしゃいましたらご教授の程よろしくお願いします。



### 試したこと

・Tesseractをインストールし、pyocrで手書きの文字が正常に認識することを確認済み
・openCVをインストール済み

### 補足情報（FW/ツールのバージョンなど）

OS:windows10 64bit
Python:3.8.3
pip:21.0.1
opencv-python:4.5.1.48
pyocr:0.8
PyAutoGUI:0.9.52


### 解決方法
sakuramochi_py 様にご教授頂き、下記コードで実現できました。

```Python
import pyautogui as pg
import time
import cv2
import pyautogui as pg

pg.press('win')
time.sleep(2)

sc = pg.screenshot(region=(50, 100, 500, 700)) #始点x,y、幅、高さ
sc.save('./img/img.png')

lang = 'eng'
img_path = './img/{}.png'.format(lang)
img = Image.open(img_path)
out_path = './img/{}_{}.png'

word_boxes = tool.image_to_string(
    img,
    lang=lang,
    builder=pyocr.builders.WordBoxBuilder(tesseract_layout=6)
)

out = cv2.imread(img_path)

for d in word_boxes:
    print(d.content)
    print(d.position)
    cv2.rectangle(out, d.position[0], d.position[1], (0, 0, 255), 2) #d.position[0]は認識した文字の左上の座標,[1]は右下
    cv2.imwrite(out_path.format(lang, 'word_boxes'), out)
    x1,y1 = d.position[0]
    x2,y2 = d.position[1]  
    if(d.content=='Anaconda3'): #Anacondaのアイコンを認識したらクリックする
        x3 = (x1+x2)/2+50
        y3 = (y1+y2)/2+100
        pg.click(x3,y3)
```

認識した画像を確認するとこんな感じです。

![イメージ説明](0bfc2a4ffdb0df2b32785fc3daca8be8.png)

### 追記(画像処理方法と文字認識時間検証)
下記３種類の画像認識方法について、
認識画像と認識時間を追記しました。

sakuramochi_py 様の見解通り３種類の組み合わせが一番認識時間が
短い結果となりました。

①：フルカラー
②：①＋グレースケール
③：②＋２値化
④：③＋反転

![イメージ説明](da9027ce3fad6fb030d9fc7b8f553294.png)

```Python
img = cv2.imread("./img/eng.png")

#グレースケールに変換
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imwrite("./img/eng.png",gray)

#2値化
img = cv2.imread("./img/eng.png")
threshold = 105
ret,img_thresh = cv2.threshold(img, threshold, 255, cv2.THRESH_BINARY)
cv2.imwrite("./img/eng.png",img_thresh)

#色反転
img = cv2.imread("./img/eng.png")
img_invert = cv2.bitwise_not(img)
cv2.imwrite("./img/eng.png",img_invert)
```

OCR機能を用いて、画像内の対象文字列をクリックしたい

pythonのpyautoguiについて質問です。

こちらの方のサイトからお借りして
https://hashikake.com/PyAutoGUI
```python
import pyautogui
print('Ctrl+Cを押すと終了します')
try:
while True:
x,y = pyautogui.position()
position = 'X:'+str(x).rjust(4) + ' Y:'+str(y).rjust(4)
print(position,end='')
print('\b' * len(position),end='',flush=True)
pyautogui.sleep(1)
except KeyboardInterrupt:
print('\n終了')
```

というコードを作ってみました。
すると
```
ModuleNotFoundError: No module named 'pyautogui'
```
というエラーがかえってきてしまいました。



なぜエラーになっているのかと解決方法を教えてもらえると助かります。

### 試したこと

PyAutoGUI インストール済み
pip 最新バージョン
ということは確認しました。

pythonでpyautoguiのエラーが出る

### 実現したいこと

ここに実現したいことを箇条書きで書いてください。
- [ ] pyautogui.locateCenterOnScreenを動作するようにする

### 前提

locateCenterOnScreenを勉強している（試している）。
。

### 発生している問題・エラーメッセージ

```
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
Cell In[3], line 1
----> 1 pyautogui.locateCenterOnScreen("icon.png",confidence=0.5)

File ~/.pyenv/versions/3.11.1/lib/python3.11/site-packages/pyautogui/__init__.py:172, in raisePyAutoGUIImageNotFoundException.<locals>.wrapper(*args, **kwargs)
    169 @functools.wraps(wrappedFunction)
    170 def wrapper(*args, **kwargs):
    171     try:
--> 172         return wrappedFunction(*args, **kwargs)
    173     except pyscreeze.ImageNotFoundException:
    174         raise ImageNotFoundException

File ~/.pyenv/versions/3.11.1/lib/python3.11/site-packages/pyautogui/__init__.py:204, in locateCenterOnScreen(*args, **kwargs)
    202 @raisePyAutoGUIImageNotFoundException
    203 def locateCenterOnScreen(*args, **kwargs):
--> 204     return pyscreeze.locateCenterOnScreen(*args, **kwargs)

File ~/.pyenv/versions/3.11.1/lib/python3.11/site-packages/pyscreeze/__init__.py:420, in locateCenterOnScreen(image, **kwargs)
    416 def locateCenterOnScreen(image, **kwargs):
    417     """
    418     TODO
    419     """
--> 420     coords = locateOnScreen(image, **kwargs)
    421     if coords is None:
    422         return None

File ~/.pyenv/versions/3.11.1/lib/python3.11/site-packages/pyscreeze/__init__.py:375, in locateOnScreen(image, minSearchTime, **kwargs)
    373 while True:
    374     try:
--> 375         screenshotIm = screenshot(
    376             region=None
    377         )  # the locateAll() function must handle cropping to return accurate coordinates, so don't pass a region here.
    378         retVal = locate(image, screenshotIm, **kwargs)
    379         try:

File ~/.pyenv/versions/3.11.1/lib/python3.11/site-packages/pyscreeze/__init__.py:527, in _screenshot_osx(imageFilename, region)
    523 """
    524 TODO
    525 """
    526 # TODO - use tmp name for this file.
--> 527 if tuple(PIL__version__) < (6, 2, 1):
    528     # Use the screencapture program if Pillow is older than 6.2.1, which
    529     # is when Pillow supported ImageGrab.grab() on macOS. (It may have
    530     # supported it earlier than 6.2.1, but I haven't tested it.)
    531     if imageFilename is None:
    532         tmpFilename = 'screenshot%s.png' % (datetime.datetime.now().strftime('%Y-%m%d_%H-%M-%S-%f'))

TypeError: '<' not supported between instances of 'str' and 'int'
```

### 該当のソースコード

```python
pyautogui.locateCenterOnScreen("icon.png",confidence=0.5)
```

### 試したこと

・pip install Pillow でPillowをインストールする。

・pip install Pillow --upgrade でPillowをアップデートする。

・opencv-contrib-python をインストールして、confidence=0.1 して locateCenterOnScreen を実行する。

・ icon.png を同じディレクトリ内に保存して、デスクトップ上にあるこのアイコンが見える状態でlocateCenterOnScreen を実行する。

### 補足情報（FW/ツールのバージョンなど）

Pillow-9.5.0



pyautogui.locateCenterOnScreenを動作するようにしたい

### 実現したいこと

pythonのselenium でブラウザを自動操作するプログラムをタスクスケジューラから実行したい

### 前提

pythonのselenium でブラウザを自動操作するプログラムを書き、正常に動作するのだがタスクスケジューラで実行するとchromeの画面が立ち上がらずpyautoguiのエラーになる。
chromeが正しく表示されるようにしたい。
（タスクスケジューラ以外の方法でプログラムを起動するとchromeは起動する）

### 発生している問題・エラーメッセージ

```
line 115, in <module>
pyautogui.keyDown('ctrl')

raise FailSafeException(
pyautogui.FailSafeException: PyAutoGUI fail-safe triggered from mouse moving to a corner of the screen. To disable this fail-safe, set pyautogui.FAILSAFE to False. DISABLING FAIL-SAFE IS NOT RECOMMENDED.
```

### 試したこと

ヘッドレスモードのON/OFF

### 補足情報（FW/ツールのバージョンなど）
python-3.9.12


pythonのseleniumをタスクスケジューラから起動したい

### 実現したいこと

PyAutoGUIを用いて、ソフトの自動入力を行いたい

### 前提

パソコン画面の自動入力をしたくて、PyAutoGUIを色々試してみようと思いました。
とりあえずposition()を使って、マウス座標の取得を試してみたのですが、プログラム自体は問題なく実行されてるにも関わらず、肝心のマウス座標が明らかにおかしいです。
何度プログラムを実行しても座標が常に一定で、マウスとは違うところを指しています


### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```python
import PyAutoGUI as gui
x = gui.position()
print(x)
```

### 試したこと

実行キー地点の座標を取得しているのかと思い、座標を取得する前にtimeライブラリで少し待ってから実行するようにしても変わりませんでした。
forループでマウスを動かしながら座標を取得しようとしても変わりませんでした。
また、pythonのバージョンやvscodeのパスなども確認しましたが、特に問題はありませんでした。

### 補足情報（FW/ツールのバージョンなど）

実行環境はWSL2のubuntuから開いたVScodeです。PyAutoGUIはAnacondaからインストールしました。

moveTo()等も、マウスは動かないものの、実行自体はうまくいっておりmoveTo()実行後にposition()を実行したら移動した先の座標が表示されたため、画面にうつるマウスポインターとはべつに見えないところに何かあるのではと考えています。
初心者なので、文やコードに不備があるかもしれません。
どうか回答よろしくおねがいします。

