SeleniumでChromeを自動化し、キーボードを押下しようとすると見たことがないエラーが出る

Question

実現したいこと

SeleniumでSalesForceを自動化させようとしているのですが、目的のブラウザを開き、コピーやスクロールはできるものの、タブボタンを押すなど特定のキーボード操作を自動化することができない。

SalesForceのショートカットにタブを押すと次の欄に移れるというものがあるため、それをPythonで実現したい。

前提

Windows, Chrome。社内用PCであるため、URLや画面は持ち出すことができず。。

エラーメッセージ

[12728:20664:0623/082118.936:ERROR:interface_endpoint_client.cc(697)] Message 0 rejected by interface blink.mojom.WidgetHost

[12728:20664:0623/082121.001:ERROR:device_event_log_impl.cc(222)] [08:21:21.006] USB: usb_service_win.cc:415 Could not read device interface GUIDs: The system cannot find the file specified. (0x2)

こちらネットでググっても有効な情報が見つけられず、回答をいただければと思います。

該当のソースコード

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains


CHROMEDRIVER = r"C:\Users\name\Desktop\chromedriver.exe"
 

options = Options()

driver = webdriver.Chrome(options=options)
 
driver.get('https://…)
actionChains = ActionChains(driver)

driver.maximize_window()

act = ActionChains(driver)

act.key_down(Keys.PAGE_DOWN)

act.key_down(Keys.TAB)
act.key_down(Keys.TAB)
act.key_down(Keys.TAB)

act.perform()

試したこと

キーボード操作がWindowsやパソコンのセキュリティに邪魔されて実行不可になってるかなと思い、その線を当たったのですが、いまいち解決できず。

またコピペやスクロールは可能、XPATHで特定の要素を取得することは可能なのですが、テキスト入力などをするとおかしな出力になるため、そもそもSalesForceとSeleniumの相性が悪いのでは？とも思いましたが、そういったこともありうるのでしょうか？

Comments

[otn]

普通に考えると、key_down()だけ続けると、キーの二重押しというか、四重押しになるのでは？（未確認ですが）

> 見たことがないエラーが出る
おそらく、Chrome起動時に出るエラーです。
driver = webdriver.Chrome(options=options)
の直後でプログラムを終了しても出るのでは？

[yuttort]

回答ありがとうございます。確かにその点も言われてみればそうですよね。改めて会社のPCで動かしてみて確認します。

Answer 1

この回答はGPT-4による自動生成回答です

Seleniumでキーボード操作を行う場合、send_keys()メソッドを使用して特定の要素に対してキー操作を行うことができます。以下のようにコードを修正してみてください。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains

CHROMEDRIVER = r"C:\Users\name\Desktop\chromedriver.exe"

options = Options()

driver = webdriver.Chrome(options=options)

driver.get('https://…')
actionChains = ActionChains(driver)

driver.maximize_window()

# タブ操作を行いたい要素を指定
element = driver.find_element(By.XPATH, '要素のXPATH')

# タブキーを押す
element.send_keys(Keys.TAB)

# 必要に応じて他のキー操作も行う
element.send_keys(Keys.PAGE_DOWN)

この方法で、特定の要素に対してタブキー操作や他のキーボード操作を行うことができます。ただし、SalesForceのようなJavaScriptを多用したウェブアプリケーションでは、Seleniumでの操作がうまくいかない場合もあります。その場合は、他の自動化ツール（例：Puppeteer）を検討してみてください。

Answer 2

act.key_down(Keys.PAGE_DOWN)

act.key_down(Keys.TAB)
act.key_down(Keys.TAB)
act.key_down(Keys.TAB)

key_down() をしたら key_up() もしないと何も起きないことがあります。

GPT4 の言う通り、send_keys() を使うと「キーを押して離す」をいっぺんにやってくれるので簡単です。

Comments

[yuttort]

ご回答ありがとうございます。そのような挙動をとることがあるんですね。勉強になりました。