pyautogui tkinter マウスの操作を記録する処理をすると、他のボタンが押せず。処理が止まらない

Question

pyautogui tkinter マウスの操作を記録する処理をすると、他のボタンが押せず。処理が止まらない

何故でしょうか？

#!/usr/bin/env python
#-*-coding:utf-8-*-


import tkinter
import tkinter as tk

import pyautogui
from time import sleep


root = tkinter.Tk()
root.title("Window title")
root.geometry("220x300+500+400")



# マウス
class Mouse_operation:
	
	i=0
	l=[] #マウス座標用
	
	# 初期処理で現状の座標を追加
	T=[list(pyautogui.position())]*2
	
	
	
	# マウス移動の記録
	def Move_mouse():
		while Mouse_operation.i==0:
			sleep(0.01)
			Mouse_operation.T+=[list(pyautogui.position())]
			
			# 前回の座標と更新された座標が同じ
			if Mouse_operation.T[-2]==Mouse_operation.T[-1]:
				pass
			# 座標が違うならl配列に追加
			else:
				Mouse_operation.l+=[list(pyautogui.position())]
				print(Mouse_operation.l[-1]) # 最新の座標を確認
			
			# 終了
			if Mouse_operation.i==1:
				break
	
	
	# マウス操作を止める
	def Mouse_operation_end():
		Mouse_operation.i=1
	
	



button = tk.Button(root, text="マウス操作記録",font=("",14),command=Mouse_operation.Move_mouse)
button.pack()

button = tk.Button(root, text="マウス操作終了",font=("",14),command=Mouse_operation.Mouse_operation_end)
button.pack()


root.mainloop()

Answer 1

訂正：スミマセン！以下の回答はtkinterには通用するのですが、pyautoguiはイベント指向ではないようです。それ勘違いしてました。pyautoguiを使うならwhileループから抜け出すような判定処理を自前で書かないといけないと思います。元の回答に書いたように自分でwhileループしているうちはtkinterは一切反応しなくなります(イベントを受け付けたり配送したりできなくなる)ので。

以下元の回答

GUIプログラミングでは大抵の場合イベント指向モデルの考え方になっていると思います。多分Tkinterもそうだろうと思います。

イベント指向プログラミングではイベントのハンドリングはごく短い時間で終わらせ即座に起動元(GUIのランタイム)へ戻るようにするのが普通だと思います。

他のボタンが押せず。処理が止まらない

それは自前でループしているからです。GUIのイベント指向プログラミングではGUIのランタイム(Tkinter)がOSから様々なイベントを受け付け、それに従ってpythonで書いた関数を随時呼び出すということをループしてくれてます。それをやっているのがmainloop関数ですが、ハンドラーの中で自前で無限ループしてしまうとmainloopが次のイベントを受け取ったりそのイベントのハンドラーを呼び出したりする仕事ができなくなります。

マウス操作記録、マウス操作終了といったボタンでは「記録開始」「記録終了」といった内部状態を変更だけして即座に関数を終了すればよいと思います。

ごく簡単に処理イメージを書いてみますと・・・

import tkinter as tk

class MouseTracker:
    def __init__(self):
        self.record = False
        self.mps = []
        
    def record_start(self):
        print('record_start')
        self.record = True
        
    def record_end(self):
        print('record_end')
        self.record = False
        print(self.mps)
        self.mps = []

    def on_mouse_move(self, ev):
        if self.record:
            print('mouse motion recorded', (ev.x, ev.y))
            self.mps = self.mps[-10:] + [(ev.x, ev.y)]

if __name__ == '__main__':
    root = tk.Tk()
    root.title("Window title")
    root.geometry("220x300+500+400")
    
    tracker = MouseTracker()

    root.bind('<Motion>', tracker.on_mouse_move)

    commands = [
        ("開始", tracker.record_start),
        ("終了", tracker.record_end),
    ]

    for label, command in commands:
        button = tk.Button(root, text="マウス操作記録" + label,
                           font=("",14),
                           command=command)
        button.pack()


    root.mainloop()

自分はpyautoguiをインストールしていないため、上のコード例ではtkinterのみ使ってますが、イベントハンドリングをどのようにしたらよいかという点は読み取っていただけるのではないかと思います。

Comments

[SpecialTukimiya]

CPUコアとスレッドが複数あるので、
１つスレッドが処理を請け負ってるから、別のスレッドやコアから
停止処理を渡せば良いと思ってましたが、違った様です。

ありがとうございます。
参考にさせて頂きます。

[KSwordOfHaste]

大抵のGUIライブラリーはGUIを直接操作可能なスレッドは一つだけに制限されてます。tkinterもそれは同様と思います。少なともご質問のコードでは別のスレッドを起こすコードを書いてないのでメインスレッドでtkinterとpyautoguidが動くはずです。そういう状況では回答したように自分でwhileループしているうちはtkinterは反応できないはずです。

[SpecialTukimiya]

thank you