pyautoguiでゲーム画面を操作したいが、反応しないので、操作できるようにしたい

Question

試したこと

ゲーム画面がアクティブになってからキー入力「1」をしたかった

import pyautogui
from win32gui import GetWindowText, GetForegroundWindow

while True:
　　if GetWindowText(GetForegroundWindow()) == "ゲーム名":
　　　　pyautogui.press("1")

試したゲーム名
・セガNET麻雀MJ
・Minecraft

試行結果

エラーなし無反応（キー入力無し）

原因調べた結果

おそらくゲーム自体にキーボードからの手入力と、プログラムコード操作の違いを判別している？

その他試したこと

ゲームウインドウがアクティブの時
pyautogui.position()はポジションを取得しており正常に動作している。
pyautogui.moveTo(x,y)や
pyautogui.press("キー"各種)のゲーム操作に関する部分は動作しない。

追記（原因予測と試行中に起こった事象）

ゲーム画面で動作しない原因が
・A[キーボード直接手入力]
・B[pyautogui.press()でのコード入力]
の違いから起こるものと考えたのですが、それを確かめるために
キーボード直接手入力とpyautogui.press()でのコード入力の違いを検知できる方法はありますでしょうか？
という質問をさせていただきAとBで違いがあることを明確にできました。

【新たに表れた問題点】
AとBの違いを検知している時に、起こった事象なのですが

import keyboard
while True:
    if keyboard.is_pressed("esc"):
        break
    # aが押されるまで待つ。
    keyboard.wait("a")
    print("ハードウェアキーボードの'a'が押下されました。")

上記の質問で教えていただいたコードなのですが、
ゲーム画面がアクティブの時だけキーボード直接手入力が検知できない
ということが起こりました。単に「仮想キーまたは直接キー」の違いだけではない様です。

改善方法はありますでしょうか？
ご教授よろしくお願いいたします。

Answer 1

参考ページ
こちらのページを参考にさせていただき「Minecraft」では入力可能になりました。

「Minecraft」であっても仮想キーでは受け付けずasciiコードでの入力であれば受け付けました。

Answer 2

メモ帳で質問者さんのコードを試しました。
その際、何も入力されなかったので、下記のように変更してみたところ、おそらく質問者さんの動作イメージに近いと思う結果になりました。

import pyautogui
from win32gui import GetWindowText, GetForegroundWindow

while True:
    if GetWindowText(GetForegroundWindow()) == "無題 - メモ帳":
        pyautogui.press("1")
        pyautogui.press("2")
        pyautogui.press("3")
        break
    else:
        print(GetWindowText(GetForegroundWindow()))

入力はされていますが、「2と3」のみでした。

import time
time.sleep(0.5)

を追加することで入力されましたので、プログラムが入力する速度が速すぎることが問題かと思います。

そのため、ゲームに手入力等の判別をするものがあるわけではないのだと思います。（ゲームのタイトルの不明のため、推測です）

---追記---

検索ワード

• pyautogui directx
• pywinauto directx

参考になるかもしれないサイト

• [Pyautoguiがゲームウィンドウで機能しない

](https://python5.com/q/tbqsbvwk)

• ゲーム用のPythonマウスクリック(ダイレクト入力)
• [pywinautoを使用してゲームでキーをシミュレートする方法

](https://python5.com/q/oahsfzmg)

Comments

[vibrato]

回答ありがとうございます。回答をいただくまでの間にsleepを入れ試したのですが結果は変わりませんでした。単純な文字入力アプリ上などでは動作しましたが、ゲームとなると変わらずでした。
試したゲームは多くないですが
・セガNET麻雀MJ
・Minecraft
こちらの二つは同じくpyautogui.press(”キー”各種)が動作しませんでした。

[norapomu]

試されたゲームをもってないので試せないです・・・。
おそらく確認されてるとは思いますが、動作していないのはpyautogui.press("キー"各種)の部分で、if文の判定は正しく評価されて、その処理が動作するはずなのに動作していない・・・ということですよね？
ブラウザのChromeでも、タブの名称が変わるだけで取得してくるウインドウ名が変わるようですので、一応念のためにと・・・

[vibrato]

>動作していないのはpyautogui.press("キー"各種)の部分で、if文の判定は正しく評価されて、その処理が動作するはずなのに動作していない
おっしゃる通り、その状態です。ほかにも試したことがあるとすれば、ゲームウインドウがアクティブの時
pyautogui.position()はポジションを取得しており正常に動作している。
pyautogui.moveTo(x,y)や
pyautogui.press("キー"各種)のゲーム操作に関する部分は動作しない。
状態です。何か改善策があればいいのですか…

[norapomu]

自分もわからないため、軽く調べてみました。
その結果、「DirectXで実行されるゲームは、仮想キーの送信を無視する」とのことで、現在の方法だと不可能なようです。
ただ、まったく方法がないというわけではないようです。
自分の環境では検証出来ないので、検索ワードを回答のほうに記載しておきます。