Pythonについて初歩的な質問をさせてください。

Question

前提・実現したいこと

メモ帳を開いて右上の×マークを画像認識して閉じたい。
１）メモ帳を開く。
２）メモ帳を閉じる。

１と２を別々に書いて、１を実行してから２を実行するとうまくいきます。

しかし、１と２をつなげて書いて一度に実行するとエラーになります。

そもそもお作法違反なのか、XYの型設定がいるのかなど、基本的なことが分からないので、
お手数ですが、ご指導いただきたいです。
よろしくお願いいたします。

発生している問題・エラーメッセージ

TypeError                                 Traceback (most recent call last)
<ipython-input-85-902036f72171> in <module>
      2 import pyautogui
      3 subprocess.Popen(r'C:\Windows\System32\notepad.exe')
----> 4 x,y = pyautogui.locateCenterOnScreen(r'C:\MEMOPAD.PNG')
      5 pyautogui.moveTo(x,y)
      6 pyautogui.click()

TypeError: cannot unpack non-iterable NoneType object

該当のソースコード

１）これは単独では実行できます。
import subprocess
subprocess.Popen(r'C:\Windows\System32\notepad.exe')

２）メモ帳が開いていればこれも単独では実行できます。
import pyautogui
x,y = pyautogui.locateCenterOnScreen(r'C:\MEMOPAD.PNG')
pyautogui.moveTo(x,y)
pyautogui.click()


３）合体（これがエラーになる理由が分からない）
import subprocess
subprocess.Popen(r'C:\Windows\System32\notepad.exe')
import pyautogui
x,y = pyautogui.locateCenterOnScreen(r'C:\MEMOPAD.PNG')
pyautogui.moveTo(x,y)
pyautogui.click()

試したこと

開いてすぐ閉じるのが時間的に間に合っていないのかと思って、SLEEP３秒とか入れてみましたけど、改善しませんでした。

補足情報（FW/ツールのバージョンなど）

pyautoguiは0.9.53
ただ上記の実行にはあまり関係がないかもしれないです。

Answer 1

x,y = pyautogui.locateCenterOnScreen(r'C:\MEMOPAD.PNG')

既にメモ帳を開いている状態で閉じる動作のみをさせる場合はプログラムを実行するためコマンドプロンプト等がアクティブとなりメモ帳のウィンドウがアクティブではなくなります。
しかし、subprocessを用いてメモ帳を起動するとメモ帳のウィンドウが最前面でアクティブとなるため、ボタンの見た目が変わってしまいます。
その場合に、アクティブではない閉じるボタンの画像(現在質問者さんが使用していると思われる画像)ではアクティブなメモ帳のボタンを発見することができません。
その結果locateCenterOnScreenの戻り値がNoneとなりエラーが発生しているのではないかと思います。

ですので、一度メモ帳がアクティブな状態であるときの閉じるボタンの画像を使用して一連のコマンドを実行してみてください。

参考: Windows10でのメモ帳の画像
(上: アクティブな状態, 下: アクティブでない状態)

Comments

[YagiYukio]

まさにこれが正しくて、アクティブかどうかでの色の濃淡で挙動が分かれていました！！
こんなのに気づかれるなんて、回答者様天才でしょうか！？

実際にはSLEEP1秒も必要で以下で意図通りに挙動いたしました。
画像はかなり厳密に拾ってることが分かりました。

import subprocess
import time
subprocess.Popen(r'C:\Windows\System32\notepad.exe')
time.sleep(1)
import pyautogui
x,y = pyautogui.locateCenterOnScreen(r'C:\MEMOPAD2.PNG')
pyautogui.moveTo(x,y)
pyautogui.click()

[YagiYukio]

このMEMOPAD2についてはアクティブ状態での×を利用しています。

[YagiYukio]

結局、こうなりました。ありがとうございます！！

import subprocess
import time
import pyautogui

subprocess.Popen(r'C:\Windows\System32\notepad.exe')
time.sleep(1)
locate = pyautogui.locateCenterOnScreen(r'C:\MEMOPAD.PNG')

if locate == None:
x,y = pyautogui.locateCenterOnScreen(r'C:\MEMOPAD2.PNG')
else:
x,y = pyautogui.locateCenterOnScreen(r'C:\MEMOPAD.PNG')

pyautogui.moveTo(x,y)
pyautogui.click()

Answer 2

もし、起動するとちゃんとメモ帳が起動するのであれば、popenはプロセスを起動するとすぐに返りますので、pyautogui.locateCenterOnScreen() の呼び出しが早すぎるのかもしれません。

間にsleepを入れてみてはいかがでしょうか。

Comments

[YagiYukio]

それが、「試したこと」にも記載したようにスリープはいれてみたんですよね。
3秒とか5秒とかでもダメだったので、困ってしまったのです。

[shinami]

python使ったことないですが、スリープじゃなくてタイマーは無いのでしょうか？
スリープはプログラムを止めるので何秒にしようと意味ないとか？

あと、x,y = pyautogui.locateCenterOnScreen(r'C:\MEMOPAD.PNG')の後とかにも入れてみるとか。
スリープもタイマーも

違ってたらスルーしてください。

[TakaiY]

sleepは入れてみたのですね。 読んでなくてすみません。

そのSleepの間にメモ帳は立ち上がるのでしょうか？ また、立ち上ったメモ帳は最全面に出ているでしょうか？

print文などを入れて、それぞれのコマンドの実行されるタイミングとメモ帳が表示されるタイミングを調べてみてはどうでしょう。

それぞれで単独で動くのであれば、GUIの操作なので、タイミングの問題なのではないかと思っています。

ちなみに、これ、初歩的な質問ではありませんよ。

[YagiYukio]

実際の挙動にはSLEEPも必要でした！
あありがとうございます！