pyautogui ウィンド外でのbind 操作の再生ソフト

Question

pyautogui ウィンド外でのbind方法
マウスやキーボードの操作を記録した後に再生できるソフトを作ろうと思ったのですが、
マウスなどの操作を管理が難しく、ウィンド内の操作しか記録できておりません。

現状では全体画面にした後に、タスクバーを入れ替えながら、操作を記録して居ます。
これをウィンド外でも検出できる様にするには、どうすれば良いでしょうか？

#　環境
Linux Mint
リリース Linux Mint 19.1 Tessa 64 ビット
カーネル Linux 4.15.0-60-generic x86_64
MATE 1.20.1

記録コード

# クリック場所
Hacka_Doll=[]



# インポート
import pyautogui
import tkinter as tk


# マウスの座標表示
def timer():
    px,py = pyautogui.position() 
    label['text'] = '{},{}'.format(px,py)
    root.after(10, timer)


# 左クリックの検出　と　Hacka_Doll 配列に追加
def click(event):
	print(
	pyautogui.position()
	)
	
	# クリック場所をHacka_Dollに追加
	Hacka_Doll.append([pyautogui.position()[0],
	pyautogui.position()[1]])
	
	#print(Hacka_Doll)

# 右クリックの検出　と　Hacka_Doll 配列に追加
def click02(event):
	print(
	pyautogui.position(),'Button-3'
	)
	
	# クリック場所をHacka_Dollに追加
	Hacka_Doll.append([pyautogui.position()[0],
	pyautogui.position()[1],'Button-3'])



# キーボード イベントを検出 Hacka_Doll配列に追加
def onKeyPress(event):
	print(
	event.char
	)
	
	Hacka_Doll.append([event.char])


# 基本情報
root = tk.Tk()
root.title("Tkinter")

#x,y=pyautogui.size()[0],pyautogui.size()[1]
#print(x,y)
# サイズ
root.geometry("200x200")
# うぃんどぉを透過
root.wait_visibility(root)
root.wm_attributes('-alpha',0.5)

# キーの監視
root.bind("<Button-1>", click)
root.bind("<Button-3>", click02)
root.bind('<KeyPress>', onKeyPress)


# マウス座標の表示　と　配置する場所
label = tk.Label(root,text="size",font=("",20))
label.place(x=10, y=10)
label.update()

# 更新
timer()
# 終了するまでループ
root.mainloop()



# デバッグ表示
print("\n")
print( Hacka_Doll)





# 記録した操作をcsvに出力

import csv
data=Hacka_Doll
#data = [['りんご', 'みかん'], ['いちご', 'メロン']]
with open('data.csv', 'w') as file:
	writer = csv.writer(file, lineterminator='\n')
	writer.writerows(data)

再生コード

# 作成したdata.csvを読み込み
import csv
csv_file = open("data.csv", "r", encoding="ms932", errors="", newline="" )
f=csv.reader(csv_file, delimiter=",", doublequote=True, lineterminator="\r\n", quotechar='"', skipinitialspace=True)


# いんぽーと
import pyautogui
# 操作の再生隔離を管理したい　いんぽーと
from time import sleep



# 読み込んだリストの再生　処理

for i in list(f):
	# デバッグ表示
	print(*i,len(i))
	# 再生隔離
	sleep(0.8)
	
	# マウスの左クリック処理
	if len(i)==2:
		pyautogui.click(int(i[0]),int(i[1])) #クリック
	# マウスの右くりっく処理
	elif len(i)==3:
		pyautogui.rightClick(int(i[0]),int(i[1])) #右クリック
	# キーボードのキー入呂処理 1つずつ
	elif len(i)==1:
		pyautogui.typewrite(i)
	# キーボードのエンター処理　不安定
	elif len(i)==0:
		pyautogui.typewrite(['enter'])

Answer 1

おすすめライブラリ

• https://pypi.org/project/keyboard/
• https://pypi.org/project/mouse/

マウスの記録＆再生ならこんな感じ。

import mouse

events = mouse.record()  # 右クリックするまで記録
mouse.play(events)

Comments

[SpecialTukimiya]

ImportError: You must be root to use this library on linux.
sudo権限が無いと実行できない様ですが、ソースコードから権限を与える記述は
どの様にすれば良いでしょうか？

[YouheiSakurai]

「ソースコードから権限を与える記述」というのがちょっと理解できないです。「sudo python3 スクリプト名.py」という様に実行するのとは違うんでしょうか？