C#でブラウザExtensionで表示されるウインドウに対してキーボード入力したい

Question

お世話になります。C＃で以下が実現できなくて困ってます。

・BraveBrowser> 引用テキストというChrome系ブラウザにMetamaskというExtensionをインストールしている
・BraveBrowserからMetamaskを起動すると、ロック解除のためのパスワード入力が求められる
・パスワード入力欄にフォーカスされている状態で、C#標準のSendKeys、user32.dllのSendInputのどちらからもうまく入力ができない

C#からパスワード文字列としてKey送信したいのですが、うまくいかない原因として何が考えられるでしょうか？

補足ですが、SendKeysではなぜか以下の状態から実行すると、ブラウザ本体のアドレス入力欄に文字列が送信されます。。。
※この画像のとき、パスワードの欄にフォーカスが当たってる状態です。

以下が実行時のサンプルコード抜粋です。

        private void SendKeysTest()
        {
            // SendKeys版。だめです。
            SendKeys.SendWait("A");

            // キーボード操作実行用のデータ
            INPUT[] inp = new INPUT[4];

            // (1)キーボード(SHIFT)を押す
            inp[0].type = INPUT_KEYBOARD;
            inp[0].ki.wVk = VK_SHIFT;
            inp[0].ki.wScan = (short)MapVirtualKey(inp[0].ki.wVk, 0);
            inp[0].ki.dwFlags = KEYEVENTF_EXTENDEDKEY | KEYEVENTF_KEYDOWN;
            inp[0].ki.dwExtraInfo = 0;
            inp[0].ki.time = 0;

            // (2)キーボード(A)を押す
            inp[1].type = INPUT_KEYBOARD;
            inp[1].ki.wVk = (short)Keys.A;
            inp[1].ki.wScan = (short)MapVirtualKey(inp[1].ki.wVk, 0);
            inp[1].ki.dwFlags = KEYEVENTF_EXTENDEDKEY | KEYEVENTF_KEYDOWN;
            inp[1].ki.dwExtraInfo = 0;
            inp[1].ki.time = 0;

            // (3)キーボード(A)を離す
            inp[2].type = INPUT_KEYBOARD;
            inp[2].ki.wVk = (short)Keys.A;
            inp[2].ki.wScan = (short)MapVirtualKey(inp[2].ki.wVk, 0);
            inp[2].ki.dwFlags = KEYEVENTF_EXTENDEDKEY | KEYEVENTF_KEYUP;
            inp[2].ki.dwExtraInfo = 0;
            inp[2].ki.time = 0;

            // (4)キーボード(SHIFT)を離す
            inp[3].type = INPUT_KEYBOARD;
            inp[3].ki.wVk = VK_SHIFT;
            inp[3].ki.wScan = (short)MapVirtualKey(inp[3].ki.wVk, 0);
            inp[3].ki.dwFlags = KEYEVENTF_EXTENDEDKEY | KEYEVENTF_KEYUP;
            inp[3].ki.dwExtraInfo = 0;
            inp[3].ki.time = 0;

            // キーボード操作実行
            SendInput(inp.Length, ref inp, Marshal.SizeOf(inp[0]));
        }

どなたか何か情報をお持ちでしたらご教授頂けると助かりますｍｍ

Comments

[TN8001]

Chrome自体複雑な作りですし特に検証する気もないのでこちらに書きますが、見たところポップアップですしウィンドウハンドルが別なんじゃないでしょうか？

Inspectとかで研究してみては？
[ユーザー補助ツール-検査 - Win32 apps | Microsoft Docs](https://docs.microsoft.com/ja-jp/windows/win32/winauto/inspect-objects)

"C:\Program Files (x86)\Windows Kits\10\bin\10.0.19041.0\x64\inspect.exe"
とかにいます。

[TN8001]

あぁそうかSendInputはハンドルとかは無関係でしたっけ。

> ※この画像のとき、パスワードの欄にフォーカスが当たってる状態です。

キーボードフォーカス（縦線のキャレット）がある状態ってことですよね？

[TN8001]

めんどくさそうなので試す気はなかったのですが確認してみました。
この画面はロック解除画面ですね。

わたしはソフトウェアキーボードを自作して常用しているのですが、BraveBrowser・MetaMaskの組み合わせで問題なく入力できました（実装はSendInputを使用しています）

ひとつ気になったのですが、SendKeysTestはどう呼んでいますか？
ボタンなんかですとそちらがアクティブになり、キャレットが消えていることはないでしょうか。

あとはコードがあっているかということでしょうか？（私は何も覚えてません^^;

SendKeysも新しい実装ではSendInputを使用してるっぽいです（そうだとは言っていませんが^^;
[キーボード イベントをシミュレートする - Windows Forms .NET | Microsoft Docs](https://docs.microsoft.com/ja-jp/dotnet/desktop/winforms/input-keyboard/how-to-simulate-events)

SendKeysが勝手にSendInputしてくれるんであればお手軽ですね。試す価値はあるかもしれません。
<add key="SendKeys" value="SendInput"/>

[nakamura_nori]

色々とご回答ありがとうございます。

> ひとつ気になったのですが、SendKeysTestはどう呼んでいますか？
SendKeysTestはテスト用に切り出した処理ですが、これを呼ぶ前にThread.Sleepして、Metamaskのパスワード入力欄にキャレットを入れた状態で確認してみたがダメでした。

大分主旨が異なりますが、クリップボードにテキストをコピーしておいて、それをマウス操作で貼り付けるという、力業で回避しました。。。

またちょっと別の問題がありまして、user32.dllの SetCursorPos で、RDP接続したリモートデスクトップ上および、VMWareで動いてくれないという問題にぶち当たっております。。
（mouse_event でのクリックとかは動く。）

Answer 1

SendKeysTestはテスト用に切り出した処理ですが、これを呼ぶ前にThread.Sleepして、Metamaskのパスワード入力欄にキャレットを入れた状態で確認してみたがダメでした。

非常に雑ですがコンソールアプリで確認してみました。

提示画像のようにポップアップが開いていてキャレットが入力欄に表示されている状態ならば、手で入力したのと同様にロック解除できました。
パスワードと続けて改行を送れば、ボタンも押してくれました。

またちょっと別の問題がありまして、user32.dllの SetCursorPos で、RDP接続したリモートデスクトップ上および、VMWareで動いてくれないという問題にぶち当たっております。。

全然違う話題なので、別の質問として新たに立ててください。
ちなみに私は試せる環境にないのでわかりません^^;

---

Console.WriteLine("SendKeys.SendWait テストアプリ\n");
Console.WriteLine("入力をそのままSendWaitします。詳細は下記を確認してください");
Console.WriteLine("https://docs.microsoft.com/ja-jp/dotnet/api/system.windows.forms.sendkeys.send");

while (true)
{
    Console.WriteLine("\n送信する文字列を入力してください");

    var input = Console.ReadLine();

    Console.WriteLine($"{input} を３０秒後にアクティブアプリに送信します");

    await Task.Delay(TimeSpan.FromSeconds(30));

    try
    {
        // コンソールアプリではSendは（簡単には）使えないためSendWaitを使用
        SendKeys.SendWait(input);

        Console.WriteLine("送信しました");
    }
    catch (ArgumentException)
    {
        Console.WriteLine("有効なキーストロークではありません");
    }
    catch (Exception)
    {
        Console.WriteLine("不明なエラー");
    }
}

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <OutputType>Exe</OutputType>
    <TargetFramework>net6.0-windows</TargetFramework>
    <ImplicitUsings>enable</ImplicitUsings>
    <Nullable>enable</Nullable>
    <UseWindowsForms>true</UseWindowsForms>
  </PropertyGroup>

</Project>

（こちらの手元ではあってもなくても変わりませんでした）

<?xml version="1.0" encoding="utf-8" ?>
<configuration>
  <appSettings>
    <add key="SendKeys" value="SendInput"/>
  </appSettings>
</configuration>

.NET 6.0.4
Visual Studio Community 2022 17.1.5
Windows 10 Home 21H1
Brave 1.37.116
MetaMask 10.13.0

• csprojの編集
  「ソリューション エクスプローラー」で、プロジェクトをダブルクリックします。
• App.configの追加
  app.config ファイルをプロジェクトに追加する方法 - Visual Studio (Windows) | Microsoft Docs

Comments

[nakamura_nori]

ご丁寧にありがとうございます！！
ご提示いただいたコードでこちらでも再現できました！

色々と情報ありがとうございました！
別の問題の件はしばらく調べてみて、どうしても解決できなかったらまた改めて別スレで質問させて頂きたいと思いますｍｍ