常連

### 実現したいこと

SeleniumでSalesForceを自動化させようとしているのですが、目的のブラウザを開き、コピーやスクロールはできるものの、タブボタンを押すなど特定のキーボード操作を自動化することができない。

SalesForceのショートカットにタブを押すと次の欄に移れるというものがあるため、それをPythonで実現したい。

### 前提
Windows, Chrome。社内用PCであるため、URLや画面は持ち出すことができず。。


### エラーメッセージ
[12728:20664:0623/082118.936:ERROR:interface_endpoint_client.cc(697)] Message 0 rejected by interface blink.mojom.WidgetHost

[12728:20664:0623/082121.001:ERROR:device_event_log_impl.cc(222)] [08:21:21.006] USB: usb_service_win.cc:415 Could not read device interface GUIDs: The system cannot find the file specified. (0x2)



こちらネットでググっても有効な情報が見つけられず、回答をいただければと思います。
### 該当のソースコード

```Python

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains


CHROMEDRIVER = r"C:\Users\name\Desktop\chromedriver.exe"
 

options = Options()

driver = webdriver.Chrome(options=options)
 
driver.get('https://…)
actionChains = ActionChains(driver)

driver.maximize_window()

act = ActionChains(driver)

act.key_down(Keys.PAGE_DOWN)

act.key_down(Keys.TAB)
act.key_down(Keys.TAB)
act.key_down(Keys.TAB)

act.perform()

```

### 試したこと

キーボード操作がWindowsやパソコンのセキュリティに邪魔されて実行不可になってるかなと思い、その線を当たったのですが、いまいち解決できず。

またコピペやスクロールは可能、XPATHで特定の要素を取得することは可能なのですが、テキスト入力などをするとおかしな出力になるため、そもそもSalesForceとSeleniumの相性が悪いのでは？とも思いましたが、そういったこともありうるのでしょうか？


SeleniumでChromeを自動化し、キーボードを押下しようとすると見たことがないエラーが出る

### 実現したいこと

指定したウインドウをアクティブ化したい。
そのため、pygetwindow を使用したいが、作動しない


### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "/home/uta/ダウンロード/way2.py", line 1, in <module>
    import pygetwindow as gw
  File "/home/uta/.local/lib/python3.10/site-packages/pygetwindow/__init__.py", line 347, in <module>
    raise NotImplementedError(
NotImplementedError: PyGetWindow currently does not support Linux. If you have Xlib knowledge, please contribute! https://github.com/asweigart/pygetwindow
```

### 該当のソースコード

```Python
import pygetwindow as gw
 
# メモ帳のウィンドウを取得する。
print(gw.getWindowsWithTitle('メモ帳'))

# アクティブにする
memo_window.activate()
```

### 試したこと
①pip show pygetwindow
を試しました

Name: PyGetWindow
Version: 0.0.9
Summary: A simple, cross-platform module for obtaining GUI information on application's windows.
Home-page: https://github.com/asweigart/pygetwindow
Author: Al Sweigart
Author-email: al@inventwithpython.com
License: BSD
**Location: /home/uta/.local/lib/python3.10/site-packages**
Requires: pyrect
Required-by: PyAutoGUI

②import sys
import pprint
pprint.pprint(sys.path)
を試しました。

['/home/uta/ダウンロード',
 '/usr/lib/python310.zip',
 '/usr/lib/python3.10',
 '/usr/lib/python3.10/lib-dynload',
 '**/home/uta/.local/lib/python3.10/site-packages**',
 '/usr/local/lib/python3.10/dist-packages',
 '/usr/lib/python3/dist-packages']

ちゃんと同じ場所が表示されます。

### 補足情報（FW/ツールのバージョンなど）

Ubuntu22.04
Python3


【Python】pygetwindow を使うことができない

#python pyautoguiを使用し画像認識を試そうと思ったのですが、confidenceでエラーが出ます。
どうしたら認識できるのでしょうか。
以上、よろしくお願いいたします。

```
実行コード
import pyautogui as pg
from time import sleep

center = pg.locateCenterOnScreen("/Users/gorigorinogorira/Desktop/zoom_all/end.png",
 grayscale=True, confidence=0.8)
print(center)

コード
```

``` 
エラーコード
File "test.py", line 5, in <module>
    grayscale=True, confidence=0.8)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyautogui/__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyautogui/__init__.py", line 207, in locateCenterOnScreen
    return pyscreeze.locateCenterOnScreen(*args, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 400, in locateCenterOnScreen
    coords = locateOnScreen(image, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 360, in locateOnScreen
    retVal = locate(image, screenshotIm, **kwargs)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 340, in locate
    points = tuple(locateAll(needleImage, haystackImage, **kwargs))
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyscreeze/__init__.py", line 135, in wrapper
    return wrappedFunction(*args, **kwargs)
TypeError: _locateAll_python() got an unexpected keyword argument 'confidence'
コード
```

python pyautogui 画像認識できない

### 前提・実現したいこと

OCR機能を用いてアイコンをクリックする動作をさせたいです。
※下記コードのようなPyautoguiで画像をサーチする方法ではなく、
　文字をサーチする方法でクリックさせたいです。

```Python
import pyautogui as pg
position=pg.locateOnScreen('search.bmp') 
pg.click(position)
```


例えば、windowsのcalenderを立ち上げる場合、
下記コードでcalenderアプリを含む画像を取得し、

```Python
pg.press('win')
sc = pg.screenshot(region=(0, 0, 500, 700)) 
```

pyocrを用いて画像内の「calender」の文字列を抽出するところまで
できました。

しかし、この文字列がある座標を取得する方法がわからない為、
クリックができないです。


知見がある方がいらっしゃいましたらご教授の程よろしくお願いします。



### 試したこと

・Tesseractをインストールし、pyocrで手書きの文字が正常に認識することを確認済み
・openCVをインストール済み

### 補足情報（FW/ツールのバージョンなど）

OS:windows10 64bit
Python:3.8.3
pip:21.0.1
opencv-python:4.5.1.48
pyocr:0.8
PyAutoGUI:0.9.52


### 解決方法
sakuramochi_py 様にご教授頂き、下記コードで実現できました。

```Python
import pyautogui as pg
import time
import cv2
import pyautogui as pg

pg.press('win')
time.sleep(2)

sc = pg.screenshot(region=(50, 100, 500, 700)) #始点x,y、幅、高さ
sc.save('./img/img.png')

lang = 'eng'
img_path = './img/{}.png'.format(lang)
img = Image.open(img_path)
out_path = './img/{}_{}.png'

word_boxes = tool.image_to_string(
    img,
    lang=lang,
    builder=pyocr.builders.WordBoxBuilder(tesseract_layout=6)
)

out = cv2.imread(img_path)

for d in word_boxes:
    print(d.content)
    print(d.position)
    cv2.rectangle(out, d.position[0], d.position[1], (0, 0, 255), 2) #d.position[0]は認識した文字の左上の座標,[1]は右下
    cv2.imwrite(out_path.format(lang, 'word_boxes'), out)
    x1,y1 = d.position[0]
    x2,y2 = d.position[1]  
    if(d.content=='Anaconda3'): #Anacondaのアイコンを認識したらクリックする
        x3 = (x1+x2)/2+50
        y3 = (y1+y2)/2+100
        pg.click(x3,y3)
```

認識した画像を確認するとこんな感じです。

![イメージ説明](0bfc2a4ffdb0df2b32785fc3daca8be8.png)

### 追記(画像処理方法と文字認識時間検証)
下記３種類の画像認識方法について、
認識画像と認識時間を追記しました。

sakuramochi_py 様の見解通り３種類の組み合わせが一番認識時間が
短い結果となりました。

①：フルカラー
②：①＋グレースケール
③：②＋２値化
④：③＋反転

![イメージ説明](da9027ce3fad6fb030d9fc7b8f553294.png)

```Python
img = cv2.imread("./img/eng.png")

#グレースケールに変換
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imwrite("./img/eng.png",gray)

#2値化
img = cv2.imread("./img/eng.png")
threshold = 105
ret,img_thresh = cv2.threshold(img, threshold, 255, cv2.THRESH_BINARY)
cv2.imwrite("./img/eng.png",img_thresh)

#色反転
img = cv2.imread("./img/eng.png")
img_invert = cv2.bitwise_not(img)
cv2.imwrite("./img/eng.png",img_invert)
```

OCR機能を用いて、画像内の対象文字列をクリックしたい

### 実現したいこと
・pyautoguiのライブラリを使いたい
・環境はjupyter notebookを使いたい
・PCは会社のPCを使用したい

### 発生している問題・分からないこと
・SSL起因でのエラーが発生。conda install pyautoguiにてインストールできない



### 該当のソースコード

```
特になし
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
・trusted-hostを入れたインストールを試みたが、結果変わらず(SSL起因のエラー)

・pyautoguiのファイル(.tar.gz)をダウンロードしたが、インストールする方法がわからず。

### 補足
初心者のため、質問が初歩的な内容で恐縮です。解決策についてアドバイスいただけますと幸いです。

Anacondaを使ったオフラインでのライブラリインストール

pythonのpyautoguiについて質問です。

こちらの方のサイトからお借りして
https://hashikake.com/PyAutoGUI
```python
import pyautogui
print('Ctrl+Cを押すと終了します')
try:
while True:
x,y = pyautogui.position()
position = 'X:'+str(x).rjust(4) + ' Y:'+str(y).rjust(4)
print(position,end='')
print('\b' * len(position),end='',flush=True)
pyautogui.sleep(1)
except KeyboardInterrupt:
print('\n終了')
```

というコードを作ってみました。
すると
```
ModuleNotFoundError: No module named 'pyautogui'
```
というエラーがかえってきてしまいました。



なぜエラーになっているのかと解決方法を教えてもらえると助かります。

### 試したこと

PyAutoGUI インストール済み
pip 最新バージョン
ということは確認しました。

pythonでpyautoguiのエラーが出る

初歩的な質問かもしれませんが色々とやってダメだったのでご質問させてください。

### 前提・実現したいこと
Pyautoguiで画像認識を行い工程を進めさせていくようなものを作りたいと考えており
先ずは、画像認識が正常に動作するかのテスト段階でつまずいております・・・

参考サイトをもとに実施してみましたが
画像認識部分で以下のようなエラーが出て困っております。
▽参考サイト
https://rightcode.co.jp/blog/information-technology/python-automate-human-operations-with-pyautogui-image-recognition


### 環境情報
環境：Windows10 バージョン20H2
Python 3.9.2
場所：C:\Python\

■インストール
>pip3 install pyautogui
～略～
Successfully installed PyTweening-1.0.3 mouseinfo-0.1.3 pyautogui-0.9.52 pygetwindow-0.0.9 pymsgbox-1.0.9 pyperclip-1.8.2 pyrect-0.1.4 pyscreeze-0.1.26

>pip3 install opencv_python
～略～
Successfully installed numpy-1.20.1 opencv-python-4.5.1.48

### 発生している問題・エラーメッセージ

```python
>>> import pyautogui
>>> pyautogui.locateOnScreen(r'C:\Python\Windows_logo.png')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 213, in locateOnScreen
    return pyscreeze.locateOnScreen(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 359, in locateOnScreen
    screenshotIm = screenshot(region=None) # the locateAll() function must handle cropping to return accurate coordinates, so don't pass a region here.
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 134, in wrapper
    raise PyScreezeException('The Pillow package is required to use this function.')
pyscreeze.PyScreezeException: The Pillow package is required to use this function.
>>>
>>>
>>>
```



### 試したこと
適当に存在しない参照先をやっても同様のエラー
```python
>>> pyautogui.locateOnScreen(r'C:\Python\test_test')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyautogui\__init__.py", line 213, in locateOnScreen
    return pyscreeze.locateOnScreen(*args, **kwargs)
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 359, in locateOnScreen
    screenshotIm = screenshot(region=None) # the locateAll() function must handle cropping to return accurate coordinates, so don't pass a region here.
  File "C:\Python\lib\site-packages\pyscreeze\__init__.py", line 134, in wrapper
    raise PyScreezeException('The Pillow package is required to use this function.')
pyscreeze.PyScreezeException: The Pillow package is required to use this function.
```
C:\Python\test_test →存在しない

参照先が読めないとかではなく、それ以前の問題と思われますので
まずはこのエラーと思い、一つ一つ参照先の行を見てもわからず・・・
ググっても具体的な解決が見つからく解決策をお教えいただけないでしょうか。

Pyautoguiでの画像認識でエラー

### 実現したいこと
画像があればif式が出なけばelse式が動くようにしたいです。

### 発生している問題・分からないこと
pythonのpyautoguiで画像認識の際、エラーになります。

### エラーメッセージ
```error
[ WARN:0@0.130] global loadsave.cpp:248 cv::findDecoder imread_('image.png'): can't open/read file: check file path/integrity
Traceback (most recent call last):
  File "c:\Users\kaiko\Desktop\01_フォルダー\01_program\02_Python\04_scratch\02_youok\hantei.py", line 7, in <module>
    location = pyautogui.locateOnScreen(image_path)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyautogui\__init__.py", line 175, in wrapper
    return wrappedFunction(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyautogui\__init__.py", line 213, in locateOnScreen
    return pyscreeze.locateOnScreen(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyscreeze\__init__.py", line 373, in locateOnScreen
    retVal = locate(image, screenshotIm, **kwargs)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyscreeze\__init__.py", line 353, in locate
    points = tuple(locateAll(needleImage, haystackImage, **kwargs))
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyscreeze\__init__.py", line 207, in _locateAll_opencv
    needleImage = _load_cv2(needleImage, grayscale)
                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\kaiko\AppData\Roaming\Python\Python311\site-packages\pyscreeze\__init__.py", line 170, in _load_cv2
    raise IOError("Failed to read %s because file is missing, "
OSError: Failed to read image.png because file is missing, has improper permissions, or is an unsupported or invalid format
```

### 該当のソースコード

```
import pyautogui

# 探す画像のパス
image_path = 'image.png'

# 画面上の画像を探す
location = pyautogui.locateOnScreen(image_path)
if location:
    print(location)
else:
    print('image not found')
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
結局エラーは変わらなかった。

### 補足
特になし