常連

### 実現したいこと
PyAutoGUIを使い作業を自動化したい

### 発生している問題・分からないこと
エラー文などは出ていないが画像認識でマウスカーソルが動かない

Windows 11
visual studio code



### 該当のソースコード

```
import pyautogui as pgui
import time
import pyautogui

time.sleep(5)
pgui.press('win')
pgui.write('Excel')
time.sleep(1)
pgui.press('enter')
time.sleep(30)
pgui.click('harem mode.png')
pgui.press('E')
pyautogui.click('Annette face.jpg')
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
PyAutoGUIの使い方

### 補足
特になし

PyAutoGUIでマウスが動かない

#python pyautoguiを使用し画像認識を試そうと思ったのですが、confidenceでエラーが出ます。
どうしたら認識できるのでしょうか。
以上、よろしくお願いいたします。

```
実行コード
import pyautogui as pg
from time import sleep

center = pg.locateCenterOnScreen("/Users/gorigorinogorira/Desktop/zoom_all/end.png",
 grayscale=True, confidence=0.8)
print(center)

コード
```

``` 
エラーコード
File "test.py", line 5, in <module>
    grayscale=True, confidence=0.8)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyautogui/__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyautogui/__init__.py", line 207, in locateCenterOnScreen
    return pyscreeze.locateCenterOnScreen(*args, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 400, in locateCenterOnScreen
    coords = locateOnScreen(image, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 360, in locateOnScreen
    retVal = locate(image, screenshotIm, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 340, in locate
    points = tuple(locateAll(needleImage, haystackImage, **kwargs))
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 135, in wrapper
    return wrappedFunction(*args, **kwargs)
TypeError: _locateAll_python() got an unexpected keyword argument 'confidence'
コード
```

python pyautogui 画像認識できない

### 実現したいこと
・Python 3.12にPyAutoGUI-0.9.54のライブラリをインストールしたいです。
・会社のPCを使用するため、pip install pyautoguiではSSLエラーとなってしまいました。
　そのため、pypiからダウンロードしたPyAutoGUI-0.9.54.tar.gzをインストールしたいです。

### 発生している問題・分からないこと
「lib」フォルダ内に「PyAutoGUI-0.9.54.tar.gz」を保存し、コマンドプロンプトから下記を実行しました。
【実行した内容】
py -m pip install --no-index --find-links=lib pyautogui
【結果】
C:\Users\ZZZZZ>py -m pip install --no-index --find-links=lib pyautogui
Looking in links: lib
Processing c:\users\ZZZZZ\lib\pyautogui-0.9.54.tar.gz
  Installing build dependencies ... error
  error: subprocess-exited-with-error

  × pip subprocess to install build dependencies did not run successfully.
  │ exit code: 1
  ╰─> [47 lines of output]
      Looking in links: lib
      Processing c:\users\ZZZZZ\lib\setuptools-69.5.1.tar.gz
        Getting requirements to build wheel: started
        Getting requirements to build wheel: finished with status 'done'
        Installing backend dependencies: started
        Installing backend dependencies: finished with status 'error'
        error: subprocess-exited-with-error

        pip subprocess to install backend dependencies did not run successfully.
        exit code: 1

        [24 lines of output]
        Looking in links: lib
        Processing c:\users\ZZZZZ\lib\wheel-0.43.0.tar.gz
          Installing build dependencies: started
          Installing build dependencies: finished with status 'error'
          error: subprocess-exited-with-error

          pip subprocess to install build dependencies did not run successfully.
          exit code: 1

          [3 lines of output]
          Looking in links: lib
          ERROR: Could not find a version that satisfies the requirement flit_core<4,>=3.8 (from versions: none)
          ERROR: No matching distribution found for flit_core<4,>=3.8
          [end of output]

          note: This error originates from a subprocess, and is likely not a problem with pip.
        error: subprocess-exited-with-error

        pip subprocess to install build dependencies did not run successfully.
        exit code: 1

        See above for output.

        note: This error originates from a subprocess, and is likely not a problem with pip.
        [end of output]

        note: This error originates from a subprocess, and is likely not a problem with pip.
      error: subprocess-exited-with-error

      pip subprocess to install backend dependencies did not run successfully.
      exit code: 1

      See above for output.

      note: This error originates from a subprocess, and is likely not a problem with pip.
      [end of output]

  note: This error originates from a subprocess, and is likely not a problem with pip.
error: subprocess-exited-with-error

× pip subprocess to install build dependencies did not run successfully.
│ exit code: 1
╰─> See above for output.

note: This error originates from a subprocess, and is likely not a problem with pip.



### 該当のソースコード

```
C:\Users\ZZZZZ>py -m pip install --no-index --find-links=lib pyautogui
Looking in links: lib
Processing c:\users\ZZZZZ\lib\pyautogui-0.9.54.tar.gz
  Installing build dependencies ... error
  error: subprocess-exited-with-error

  × pip subprocess to install build dependencies did not run successfully.
  │ exit code: 1
  ╰─> [47 lines of output]
      Looking in links: lib
      Processing c:\users\ZZZZZ\lib\setuptools-69.5.1.tar.gz
        Getting requirements to build wheel: started
        Getting requirements to build wheel: finished with status 'done'
        Installing backend dependencies: started
        Installing backend dependencies: finished with status 'error'
        error: subprocess-exited-with-error

        pip subprocess to install backend dependencies did not run successfully.
        exit code: 1

        [24 lines of output]
        Looking in links: lib
        Processing c:\users\ZZZZZ\lib\wheel-0.43.0.tar.gz
          Installing build dependencies: started
          Installing build dependencies: finished with status 'error'
          error: subprocess-exited-with-error

          pip subprocess to install build dependencies did not run successfully.
          exit code: 1

          [3 lines of output]
          Looking in links: lib
          ERROR: Could not find a version that satisfies the requirement flit_core<4,>=3.8 (from versions: none)
          ERROR: No matching distribution found for flit_core<4,>=3.8
          [end of output]

          note: This error originates from a subprocess, and is likely not a problem with pip.
        error: subprocess-exited-with-error

        pip subprocess to install build dependencies did not run successfully.
        exit code: 1

        See above for output.

        note: This error originates from a subprocess, and is likely not a problem with pip.
        [end of output]

        note: This error originates from a subprocess, and is likely not a problem with pip.
      error: subprocess-exited-with-error

      pip subprocess to install backend dependencies did not run successfully.
      exit code: 1

      See above for output.

      note: This error originates from a subprocess, and is likely not a problem with pip.
      [end of output]

  note: This error originates from a subprocess, and is likely not a problem with pip.
error: subprocess-exited-with-error

× pip subprocess to install build dependencies did not run successfully.
│ exit code: 1
╰─> See above for output.

note: This error originates from a subprocess, and is likely not a problem with pip.

```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
・「setuptools」と「wheel」が足りないのではとの記事を見て、同一の「lib」フォルダ内にsetuptools-69.5.1.tar.gzとwheel-0.43.0.tar.gzを追加。
→結果変わらず。

・「dependencies」のエラーかとも思えたので、「dependencies-7.7.0.tar.gz」も上記同様にlibフォルダ内に追加。
→結果変わらず


### 補足
・Anaconda環境で同様の現象にてうまくいかず断念。Anacondaをアンインストールし、Python 3.12をインストールして実行した結果です。解決方法教えていただければ幸いです。
・libフォルダはc:\users\ZZZZZ\libにて作成。c:\users\ZZZZZ\lib内にPyAutoGUI-0.9.54.tar.gz、setuptools-69.5.1.tar.gz、wheel-0.43.0.tar.gz、dependencies-7.7.0.tar.gzの４つのライブラリを保存。

PyAutoGUIがインストールできない

### 前提・実現したいこと

OCR機能を用いてアイコンをクリックする動作をさせたいです。
※下記コードのようなPyautoguiで画像をサーチする方法ではなく、
　文字をサーチする方法でクリックさせたいです。

```Python
import pyautogui as pg
position=pg.locateOnScreen('search.bmp') 
pg.click(position)
```


例えば、windowsのcalenderを立ち上げる場合、
下記コードでcalenderアプリを含む画像を取得し、

```Python
pg.press('win')
sc = pg.screenshot(region=(0, 0, 500, 700)) 
```

pyocrを用いて画像内の「calender」の文字列を抽出するところまで
できました。

しかし、この文字列がある座標を取得する方法がわからない為、
クリックができないです。


知見がある方がいらっしゃいましたらご教授の程よろしくお願いします。



### 試したこと

・Tesseractをインストールし、pyocrで手書きの文字が正常に認識することを確認済み
・openCVをインストール済み

### 補足情報（FW/ツールのバージョンなど）

OS:windows10 64bit
Python:3.8.3
pip:21.0.1
opencv-python:4.5.1.48
pyocr:0.8
PyAutoGUI:0.9.52


### 解決方法
sakuramochi_py 様にご教授頂き、下記コードで実現できました。

```Python
import pyautogui as pg
import time
import cv2
import pyautogui as pg

pg.press('win')
time.sleep(2)

sc = pg.screenshot(region=(50, 100, 500, 700)) #始点x,y、幅、高さ
sc.save('./img/img.png')

lang = 'eng'
img_path = './img/{}.png'.format(lang)
img = Image.open(img_path)
out_path = './img/{}_{}.png'

word_boxes = tool.image_to_string(
    img,
    lang=lang,
    builder=pyocr.builders.WordBoxBuilder(tesseract_layout=6)
)

out = cv2.imread(img_path)

for d in word_boxes:
    print(d.content)
    print(d.position)
    cv2.rectangle(out, d.position[0], d.position[1], (0, 0, 255), 2) #d.position[0]は認識した文字の左上の座標,[1]は右下
    cv2.imwrite(out_path.format(lang, 'word_boxes'), out)
    x1,y1 = d.position[0]
    x2,y2 = d.position[1]  
    if(d.content=='Anaconda3'): #Anacondaのアイコンを認識したらクリックする
        x3 = (x1+x2)/2+50
        y3 = (y1+y2)/2+100
        pg.click(x3,y3)
```

認識した画像を確認するとこんな感じです。

![イメージ説明](0bfc2a4ffdb0df2b32785fc3daca8be8.png)

### 追記(画像処理方法と文字認識時間検証)
下記３種類の画像認識方法について、
認識画像と認識時間を追記しました。

sakuramochi_py 様の見解通り３種類の組み合わせが一番認識時間が
短い結果となりました。

①：フルカラー
②：①＋グレースケール
③：②＋２値化
④：③＋反転

![イメージ説明](da9027ce3fad6fb030d9fc7b8f553294.png)

```Python
img = cv2.imread("./img/eng.png")

#グレースケールに変換
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imwrite("./img/eng.png",gray)

#2値化
img = cv2.imread("./img/eng.png")
threshold = 105
ret,img_thresh = cv2.threshold(img, threshold, 255, cv2.THRESH_BINARY)
cv2.imwrite("./img/eng.png",img_thresh)

#色反転
img = cv2.imread("./img/eng.png")
img_invert = cv2.bitwise_not(img)
cv2.imwrite("./img/eng.png",img_invert)
```

OCR機能を用いて、画像内の対象文字列をクリックしたい

pythonのpyautoguiについて質問です。

こちらの方のサイトからお借りして
https://hashikake.com/PyAutoGUI
```python
import pyautogui
print('Ctrl+Cを押すと終了します')
try:
while True:
x,y = pyautogui.position()
position = 'X:'+str(x).rjust(4) + ' Y:'+str(y).rjust(4)
print(position,end='')
print('\b' * len(position),end='',flush=True)
pyautogui.sleep(1)
except KeyboardInterrupt:
print('\n終了')
```

というコードを作ってみました。
すると
```
ModuleNotFoundError: No module named 'pyautogui'
```
というエラーがかえってきてしまいました。



なぜエラーになっているのかと解決方法を教えてもらえると助かります。

### 試したこと

PyAutoGUI インストール済み
pip 最新バージョン
ということは確認しました。

pythonでpyautoguiのエラーが出る

### 実現したいこと

指定したウインドウをアクティブ化したい。
そのため、pygetwindow を使用したいが、作動しない


### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "/home/uta/ダウンロード/way2.py", line 1, in <module>
    import pygetwindow as gw
  File "/home/uta/.local/lib/python3.10/site-packages/pygetwindow/__init__.py", line 347, in <module>
    raise NotImplementedError(
NotImplementedError: PyGetWindow currently does not support Linux. If you have Xlib knowledge, please contribute! https://github.com/asweigart/pygetwindow
```

### 該当のソースコード

```Python
import pygetwindow as gw
 
# メモ帳のウィンドウを取得する。
print(gw.getWindowsWithTitle('メモ帳'))

# アクティブにする
memo_window.activate()
```

### 試したこと
①pip show pygetwindow
を試しました

Name: PyGetWindow
Version: 0.0.9
Summary: A simple, cross-platform module for obtaining GUI information on application's windows.
Home-page: https://github.com/asweigart/pygetwindow
Author: Al Sweigart
Author-email: al@inventwithpython.com
License: BSD
**Location: /home/uta/.local/lib/python3.10/site-packages**
Requires: pyrect
Required-by: PyAutoGUI

②import sys
import pprint
pprint.pprint(sys.path)
を試しました。

['/home/uta/ダウンロード',
 '/usr/lib/python310.zip',
 '/usr/lib/python3.10',
 '/usr/lib/python3.10/lib-dynload',
 '**/home/uta/.local/lib/python3.10/site-packages**',
 '/usr/local/lib/python3.10/dist-packages',
 '/usr/lib/python3/dist-packages']

ちゃんと同じ場所が表示されます。

### 補足情報（FW/ツールのバージョンなど）

Ubuntu22.04
Python3


【Python】pygetwindow を使うことができない

### 実現したいこと
画像があればif式が出なけばelse式が動くようにしたいです。

### 発生している問題・分からないこと
pythonのpyautoguiで画像認識の際、エラーになります。

### エラーメッセージ
```error
[ WARN:0@0.130] global loadsave.cpp:248 cv::findDecoder imread_('image.png'): can't open/read file: check file path/integrity
Traceback (most recent call last):
  File "c:\Users\kaiko\Desktop\01_フォルダー\01_program\02_Python\04_scratch\02_youok\hantei.py", line 7, in <module>
    location = pyautogui.locateOnScreen(image_path)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyautogui\__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyautogui\__init__.py", line 213, in locateOnScreen
    return pyscreeze.locateOnScreen(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyscreeze\__init__.py", line 373, in locateOnScreen
    retVal = locate(image, screenshotIm, **kwargs)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyscreeze\__init__.py", line 353, in locate
    points = tuple(locateAll(needleImage, haystackImage, **kwargs))
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyscreeze\__init__.py", line 207, in _locateAll_opencv
    needleImage = _load_cv2(needleImage, grayscale)
                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyscreeze\__init__.py", line 170, in _load_cv2
    raise IOError("Failed to read %s because file is missing, "
OSError: Failed to read image.png because file is missing, has improper permissions, or is an unsupported or invalid format
```

### 該当のソースコード

```
import pyautogui

# 探す画像のパス
image_path = 'image.png'

# 画面上の画像を探す
location = pyautogui.locateOnScreen(image_path)
if location:
    print(location)
else:
    print('image not found')
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
結局エラーは変わらなかった。

### 補足
特になし

pythonのpyautoguiで画像認識の際、エラーになる

初歩的な質問かもしれませんが色々とやってダメだったのでご質問させてください。

### 前提・実現したいこと
Pyautoguiで画像認識を行い工程を進めさせていくようなものを作りたいと考えており
先ずは、画像認識が正常に動作するかのテスト段階でつまずいております・・・

参考サイトをもとに実施してみましたが
画像認識部分で以下のようなエラーが出て困っております。
▽参考サイト
https://rightcode.co.jp/blog/information-technology/python-automate-human-operations-with-pyautogui-image-recognition


### 環境情報
環境：Windows10 バージョン20H2
Python 3.9.2
場所：C:\Python\

■インストール
>pip3 install pyautogui
～略～
Successfully installed PyTweening-1.0.3 mouseinfo-0.1.3 pyautogui-0.9.52 pygetwindow-0.0.9 pymsgbox-1.0.9 pyperclip-1.8.2 pyrect-0.1.4 pyscreeze-0.1.26

>pip3 install opencv_python
～略～
Successfully installed numpy-1.20.1 opencv-python-4.5.1.48

### 発生している問題・エラーメッセージ

```python
>>> import pyautogui
>>> pyautogui.locateOnScreen(r'C:\Python\Windows_logo.png')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 213, in locateOnScreen
    return pyscreeze.locateOnScreen(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 359, in locateOnScreen
    screenshotIm = screenshot(region=None) # the locateAll() function must handle cropping to return accurate coordinates, so don't pass a region here.
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 134, in wrapper
    raise PyScreezeException('The Pillow package is required to use this function.')
pyscreeze.PyScreezeException: The Pillow package is required to use this function.
>>>
>>>
>>>
```



### 試したこと
適当に存在しない参照先をやっても同様のエラー
```python
>>> pyautogui.locateOnScreen(r'C:\Python\test_test')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 213, in locateOnScreen
    return pyscreeze.locateOnScreen(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 359, in locateOnScreen
    screenshotIm = screenshot(region=None) # the locateAll() function must handle cropping to return accurate coordinates, so don't pass a region here.
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 134, in wrapper
    raise PyScreezeException('The Pillow package is required to use this function.')
pyscreeze.PyScreezeException: The Pillow package is required to use this function.
```
C:\Python\test_test →存在しない

参照先が読めないとかではなく、それ以前の問題と思われますので
まずはこのエラーと思い、一つ一つ参照先の行を見てもわからず・・・
ググっても具体的な解決が見つからく解決策をお教えいただけないでしょうか。