PyAutoGUIでマウスが動かない

Question

実現したいこと

PyAutoGUIを使い作業を自動化したい

発生している問題・分からないこと

エラー文などは出ていないが画像認識でマウスカーソルが動かない

Windows 11
visual studio code

該当のソースコード

import pyautogui as pgui
import time
import pyautogui

time.sleep(5)
pgui.press('win')
pgui.write('Excel')
time.sleep(1)
pgui.press('enter')
time.sleep(30)
pgui.click('harem mode.png')
pgui.press('E')
pyautogui.click('Annette face.jpg')

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

PyAutoGUIの使い方

補足

特になし

Comments

[TakaiY]

(質問を勘違いしていたので削除します。 すみません)

Answer 1

反応が無いので削除します。

Answer 2

とりあえず以下を試してみてください。

• スクリプトを管理者権限で実行してみる

Stackoverflowに、スクリプトを管理者権限で実行する必要があった、と書かれている方が居たので一応お試しください。

• PyAutoGUIを再インストールしてみる

pip install --force-reinstall pyautogui

• とりあえず座標での指定だと動くか確かめてみる

これでも動かなかった場合、そもそもカーソルの移動自体で問題が起きている可能性大。
これで動いた場合、画像認識時のみに発生する問題だとわかる

＊誤回答を修正しました

Comments

[hiroki-o]

>PyAutoGUIのclick()メソッドはご質問のコードにあるように画像認識してクリックするためのものではないです。

下のリンクの「… you can call～」に書いてある通り、click()に直接画像を指定すると、同じ画像を認識して中央をクリックします。
質問者さんの環境ではImageNotFoundExceptionが出ていないので、画像認識はできています。
なぜマウスカーソルが動かないのか不明なので、私は回答を作成できていませんが...

[FoxRefire]

あ、ほんとですね。
ドキュメントをちゃんと読めていませんでした。回答を修正しました。

[MIZU]

やはり再インストールしても管理者実行してもマウスカーソルが動かないですね
セキュリティーソフトなど影響で動作しないことってありますか？

[FoxRefire]

画像での指定、座標での指定にも関係なく正しい位置がクリックされないということでしょうか？

>セキュリティーソフトなど影響で動作しないことってありますか？
仮想マシンのゲストツールのインストール後に動かなくなった、と[言っている人も居た](https://stackoverflow.com/questions/75804603/pyautogui-doesnt-move-cursor-or-click-inside-a-virtual-machine)ので、別のソフトウェアが原因で動かないということもあり得ると思います。
その方は、再起動で解消されたみたいなので一応試してみてください。

[MIZU]

>画像での指定、座標での指定にも関係なく正しい位置がクリックされないということでしょうか？

pgui.click(100, 100)にコードを変更したらマウスカーソルは移動されました。
ですがpgui.click('aa.png')ですとやはりマウスカーソルカーソルは移動されませんでした

セキュリティーソフトはなんも関係はなかったみたいです

[melian]

locateOnScreen() で画像の座標を取得してクリックしてみてはどうでしょうか。

coordinates = pgui.center(pgui.locateOnScreen('harem mode.png'))
pgui.click(*coordinates)

[FoxRefire]

ああだったら画像認識の部分で問題が起きてると考えてよさそうですね。
このように実行してみて正しく座標が取得できてるか確認してみてください。
```
location = pyautogui.locateOnScreen('/path/to/image.png')
print(location)
```
これで正しく座標が取得できていないなら、`pyautogui.locateOnScreen('/path/to/image.png', confidence=0.9)`のようにconfidence引数の値を変更すると完全一致じゃなくとも指定した一致度以上であればマッチするようになるはずです。

なお、OpenCVのインストールが必要なので`pip install opencv-python`してインストールしてください。

[MIZU]

＞locateOnScreen() で画像の座標を取得してクリックしてみてはどうでしょうか。

time.sleep(5)
coordinates = pgui.center(pgui.locateOnScreen('スクリーンショット 2024-09-28 044625.png'))
pgui.click(*coordinates)

動かないですね

[MIZU]

＞ああだったら画像認識の部分で問題が起きてると考えてよさそうですね。
このように実行してみて正しく座標が取得できてるか確認してみてください。

while pgui.locateOnScreen('スクリーンショット 2024-09-28 044625.png' , confidence=0.9) is None:
time.sleep(1)
position=pgui.locateOnScreen('スクリーンショット 2024-09-28 044625.png' , confidence=0.9)

このコードでやってみたんですが動きませんね

[FoxRefire]

print(position)したら何が出力されますか？
OpenCVは入ってますか？

[MIZU]

＞print(position)したら何が出力されますか？
OpenCVは入ってますか？

出力結果にはなんも出ていませんね
OpenCV入っていますね

[FoxRefire]

あ、恐らく原因がわかりました。
どうやら、引数に指定する画像は実際の表示サイズと同じ解像度でないといけないっぽい。
んで、Windows標準のSnipping toolでスクショすると勝手に圧縮されて元の解像度が保持されないので正しく認識されないみたいです。
代わりに
```
image = pyautogui.screenshot()
image.save('screenshot.png')
```
して、pyautoguiの機能でスクリーンショットを作成し元の解像度を保持したまま認識箇所を切り抜いた画像を使用すれば正しく認識するようになるはずです。

[MIZU]

ダメでしたねおそらくですが画像の画質の問題以前ですね