[Pyautogui][Python]リモートデスクトップ画面上のアイコンをクリックしたい

Question

リモートデスクトップで接続したPCに対してpyautoguiで操作を試みて、下記のコードを実行してみたのですが、リモートデスクトップ上にあるアイコンをクリックする部分で「対象が見つかりません」というエラーが出てしまい、クリックしてくれません。

pythonのコードでリモートデスクトップの操作をできるような方法はあるのでしょうか

デスクトップ上のリモートデスクトップアイコン
connectremotedesktop.png
これをダブルクリック

リモートデスクトップパスワード入力画面
この「パスワード」欄にパスワードを入力後、下の「OK」ボタンをクリックしてリモートデスクトップ接続

btnOK.png

IconOnRemoteDesktop.png

pythonのソースコードとそれぞれのpngは同じフォルダの中にあります

import pyautogui as gui

try:

'自分のデスクトップ上にあるリモートデスクトップ接続用のアイコンをダブルクリック
    x,y = gui.locateCenterOnScreen("./connectremotedesktop.png")
    gui.click(x,y,clicks=2)
    #p=gui.position()
    #gui.click(p,clicks=2)
    
'接続用のパスワードを入力
    gui.sleep(1)
    gui.typewrite("password")
'OKボタンをクリック
    x,y = gui.locateCenterOnScreen("./btnOK.png")
    gui.click(x,y)
    gui.sleep(5)
'ここがうまくいかない
    x,y = gui.locateCenterOnScreen("./IconOnRemotedesktop.png")
    gui.click(x,y,clicks=2)
    
except Exception as ex:
    print("対象が見つかりませんでした。")
    print(ex)

対象が見つかりませんでした。
cannot unpack non-iterable NoneType object

Comments

[ChaosRepainter]

IconOnRemotedesktop.png を見せて下さい。

Answer 1

おそらくリモートデスクトップでの壁紙の色がconnectremotedesktop.pngの背景の色と同じなのでしょう。
しかし、IconOnRemoteDesktop.pngの背景の色は異なるため対象が見つけられなかった。

Firefoxのアイコンをconnectremotedesktop.pngと同じ背景の色でキャプチャしてIconOnRemoteDesktop.pngとして下さい。

それで成功するはずです。

Comments

[hachi3156]

遅くなり申し訳ありません
回答していただきありがとうございます。
なんとか動かすことができました