Selenium + headless optionでうまく取得できないページがある

Question

Seleniumを使い、headless optionを使った時のみ
エラーが出て情報を取得できないページがあります。

headless optionを有効にしたまま、情報を取得したいのですが
どのように修正・追加を加えればよいでしょうか。
ご教授いただけると幸いです。

以下、ソースコードです。

from selenium.webdriver.chrome.options import Options

options = webdriver.ChromeOptions()
# headless外すとうまくいく
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--ignore-certificate-errors')
options.add_argument('--blink-settings=imagesEnabled=false')
driver = webdriver.Chrome('chromedriver',options=options)

# テストページ
#url = 'http://example.selenium.jp/reserveApp/' 

# エラーが出てしまう問題のページ
url = 'https://patft.uspto.gov/netahtml/PTO/'

driver.implicitly_wait(10)
driver.get(url)

class_name = '/html'
elems = driver.find_elements_by_xpath(class_name)

print(elems[0].text)

driver.quit()

エラー内容

  File "/***/USPTO_error_check_test.py", line 26, in <module>
    driver.get(url)
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 333, in get
    self.execute(Command.GET, {'url': url})
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: net::ERR_CONNECTION_RESET
  (Session info: headless chrome=91.0.4472.114)

Answer 1

サイト側でヘッドレスを検知して接続を切っているということでしょうから、クライアント側ではどうしようも無いでしょう。

Comments

[hiro_python]

headlessを検知できないように工夫したところ、解決しました。
ありがとうございました。