質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.75%

  • C++

    3245questions

    C++はC言語をもとにしてつくられた最もよく使われるマルチパラダイムプログラミング言語の1つです。オブジェクト指向、ジェネリック、命令型など広く対応しており、多目的に使用されています。

  • Visual Studio

    1697questions

    Microsoft Visual StudioはMicrosoftによる統合開発環境(IDE)です。多種多様なプログラミング言語に対応しています。

  • Win32 API

    206questions

    Win32 APIはMicrosoft Windowsの32bitプロセッサのOSで動作するAPIです。

  • VC++

    132questions

    VC++ (Visual C++) とは、Microsoft製のC++のための統合開発環境です。

  • MFC

    113questions

    MFC (Microsoft Fouondation Class)とは、MicrosoftがVC++用に開発したWindows用アプリケーションのフレームワークです。

VC++でUI Automationを使いボタンコントロールをクリックする処理を行いたい

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 421

notgoodpg

score 20

 まとめ

  • UI Automationでボタンのクリックまで出来る
  • 最初のハンドラを取得するところもUI Automationで出来る

 前提・実現したいこと

VC++でUI Automationを使いボタンコントロールをクリックする処理を行いたい。

自作のアプリケーションから他のアプリケーションを操作する処理を実現するために
まずWindows7に標準で搭載されている電卓アプリを操作しようとしています。
以前の質問でボタンのテキストが空になっていることが判明し、そのボタンを判別する手段としてUI Autmationを教えていただきました。
なんとかボタンの特定までは行き着けそうなのですが、特定したボタンをクリックする事が出来ずにいます。

今のところは

UI Automationで目的のNameを持つWindowを探す
↓
見つかればHWNDを取得する
↓
SendMessageでBM_CLICKを送出することでボタンを押す

という流れで実現できるかなと思いながらコードを作っています。
よろしくお願いいたします。

 該当のソースコード

2018 0126 動いた 過去のソースは編集履歴を参照してください

void CUIAutoDlg::UseUIAutomation() {
    // COM初期化
    if( CoInitialize(NULL) != S_OK){
        MessageBox(_T("CoInitialize stuck!"));
        return;
    }
    // IUIAutmation初期化
    IUIAutomation *autoMaster;
    if (HRESULT h = CoCreateInstance(__uuidof(CUIAutomation), NULL, 
        CLSCTX_INPROC_SERVER, IID_PPV_ARGS(&autoMaster)) != S_OK) 
    {
        MessageBox(_T("CoCreateInstance stuck!"));
        return;
    }
    // TreeWalker初期化
    IUIAutomationTreeWalker *treeWalker;
    autoMaster->get_ContentViewWalker(&treeWalker);
    // 電卓のIUIAutomationElement取得
    IUIAutomationElement *autElm = NULL;
    HWND h = ::FindWindow(_T("CalcFrame"), _T("電卓"));
    if(autoMaster->ElementFromHandle(h, &autElm)){
        MessageBox(_T("ElementFromHandle stuck!"));
        return;
    }

    autElm->SetFocus();
    // 1のボタンを探してくる
    IUIAutomationElement *clickElement = NULL;
    if (GetUIAutomationElementFromChildrenByName(autoMaster, treeWalker, autElm, L"1", clickElement) != S_OK) {
        MessageBox(_T("control not found!"));
        return;
    }
    // 押す
    IUnknown *btn;
    clickElement->GetCurrentPattern(UIA_InvokePatternId, &btn);
    ((IUIAutomationInvokePattern *)btn)->Invoke();
    btn->Release();

    autElm->Release();
    treeWalker->Release();
    autoMaster->Release();

    CoUninitialize();}

BOOL CUIAutoDlg::GetUIAutomationElementFromChildrenByName(IUIAutomation *autoMaster, 
    IUIAutomationTreeWalker *treeWalker, IUIAutomationElement  *uiaElement, 
    const BSTR windowName, IUIAutomationElement *& distElement)
{
    IUIAutomationElement *childElm = NULL;
    // 子コントロールからさがす
    if (treeWalker->GetFirstChildElement(uiaElement, &childElm) != S_OK) {
        return S_FALSE; // 子がない
    }
    IUIAutomationElement *nextChildElm = NULL;
    UIA_HWND hwnd = NULL;
    while (childElm) {
        BSTR tempWindowName;
        childElm->get_CurrentName(&tempWindowName);

        if (_tcscmp( tempWindowName, windowName) == 0) { 
            // Nameが一致するコントロールを見つけた
            SysFreeString(tempWindowName); // 用済み
            distElement = childElm;
            return S_OK; //hwnd; // UIA_HWNDはHWNDじゃない!
        }
        SysFreeString(tempWindowName); // 用済み
        // 孫以下のウィドウは再起で処理
        if (GetUIAutomationElementFromChildrenByName(autoMaster, treeWalker, childElm, windowName, distElement) == S_OK) return S_OK;
        treeWalker->GetNextSiblingElement(childElm, &nextChildElm);

        childElm->Release(); // 用済み
        childElm = nextChildElm;
    }
    return S_FALSE; // nameの該当するコントロールが無い
}


一応、GetHWNDByNameの戻り値をNULLにして一旦動かしてみてはいます。

 試したこと

UIA_HWNDからHWNDへの変換方法を探してみましたが見つけられませんでした。
HWNDを取得する方法を探してみましたが見つけられませんでした・・・。
IUIAutmationElementクラスがメッセージ投げてくれるのではなどと思って調べてみましたがそれっぽい関数が見つけられませんでした

 補足情報(FW/ツールのバージョンなど)

  • Windows7/64bit SP1
  • VisualStudio2015SP
  • VC++/MFC
  • UI Automation
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

ボタン操作はUIAutomationのAPIで出来ます。
UI Automation Control Patterns Overview
ここに一覧が載っています。説明が抽象的ですが、IUIAutomationInvokePatternを取得してInvokeすればいいことが分かります。
Windows SDKのinspectでもメニューからInvokeを実行することが出来ます。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/01/26 14:54

    ご回答ありがとうございます。
    なんとか動くようになりました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.75%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • C++

    3245questions

    C++はC言語をもとにしてつくられた最もよく使われるマルチパラダイムプログラミング言語の1つです。オブジェクト指向、ジェネリック、命令型など広く対応しており、多目的に使用されています。

  • Visual Studio

    1697questions

    Microsoft Visual StudioはMicrosoftによる統合開発環境(IDE)です。多種多様なプログラミング言語に対応しています。

  • Win32 API

    206questions

    Win32 APIはMicrosoft Windowsの32bitプロセッサのOSで動作するAPIです。

  • VC++

    132questions

    VC++ (Visual C++) とは、Microsoft製のC++のための統合開発環境です。

  • MFC

    113questions

    MFC (Microsoft Fouondation Class)とは、MicrosoftがVC++用に開発したWindows用アプリケーションのフレームワークです。