pythonでwinapiを利用しNoxでマウスクリックさせたい

Question

実現したいこと

Pythonでwinapiを利用し、Noxでマウスクリックさせたいです。
(表題のとおり)

前提

pythonもwinAPIも初心者なので下記のような実験をして動作を核にしました
PythonとwinAPIを使用して 下記のところまではできました。

・.NetPaintで SendMessage を利用して クリックさせた
(クリックした個所は点が描かれた)
・spy++を利用して実際にクリックしてWM_LBUTTONDOWNが渡されるhwndを確認した。
・上記のhwndにpythonからメッセージを送り、受け取られていることをspy++で確認した。

発生している問題・エラーメッセージ

上記のように 正しいhwndにメッセージを送れている(と思っている)が、実際にクリックされているような動作をしない。

該当のソースコード

import win32gui
import time

WM_LBUTTONDOWN = 0x0201
WM_LBUTTONUP = 0x0202

x=143
y=207
lParam = y<<16 | x

#spy++で調べたハンドル
h=0x0009056E

rs1 = win32gui.SendMessage(h, WM_LBUTTONDOWN, 0, lParam)
time.sleep(0.5)
rs2 = win32gui.SendMessage(h, WM_LBUTTONUP, 0, lParam)

試したこと

win32gui.EnumChildWindowsで取得した子ウィンドウすべてにメッセージを送ってみた。
(でもクリックが発生しなかった。)

補足情報（FW/ツールのバージョンなど）

Python 3.10.9
Nox 7.0.5

Answer 1

Nox は使ったことがないのですが、DirectX が使われているアプリだとマウス操作が行えないような場合があるようです。
代替え方法としては下記が参考になるかもしれません。

■ PythonでWindows APIを使ったマウス操作 - Qiita
https://qiita.com/safin/items/09e41718f60d126aa99d

なお、ゲームの自動化等は場合によっては利用規約に触れる可能性がありますので自己責任でお願いします。

Comments

[kataware]

ご指摘ありがとうございます。自己責任の件承知しました。

たしかにNoxでDirectXを使用しているようです。(人によってはOpenGL?)
記事を参考にしてみたところ、クリックの動作自体はさせられたものの、画面全体に対して(?)の動作でした。
ウィンドウを指定して動作させたいという希望があります。(いわゆる裏マクロとして動かしたい)
SendInputだとhwndを指定できそうな項目がなかったので、DirectXである点を加えて調べてみようと思いますが、何かヒントになりそうなことがあれば教えていただけるとありがたいです。

[cx20]

> 画面全体に対して(?)の動作

デスクトップ画面の左上を原点とした座標ということですね。
Windows の場合、そのような座標をスクリーン座標と言います。
一方、ウィンドウやコントロールの左上を原点とした座標をクライアント座標と言います。

Python で試したことは無いですが、Win32 API としては以下のような API が用意されています。
恐らく、hwnd からスクリーン座標を求めるのに使えるのではと思います。

■ ClientToScreen 関数 (winuser.h)
https://learn.microsoft.com/ja-jp/windows/win32/api/winuser/nf-winuser-clienttoscreen

[kataware]

ありがとうございます。
しかしながら、意図していたものと違っておりました。
やりたかったことは
「クリックしたいウィンドウが重なって隠れている時でもクリックさせたい」
ということでした。
いろいろ調べてみたんですが、厳しそうな感じがしてきたので、この辺で締めておきます。

nox_adb 経由だったら可能だったんですが、
いまいち動作が遅かったのでなんとかしてみたかったんですよね。。。