selenium、スクレイピングで『Checking your browser before accessing』と出るサイトで画面が進まない

Question

実現させたい事

『Checking your browser before accessing サイト名』が出るサイトで
バックグラウンドでブラウザを立ち上げた際にこの画面を進めて処理をさせたいと考えております。

やった事

https://stackoverflow.com/questions/64165726/selenium-stuck-on-checking-your-browser-before-accessing-url
こちらのサイトを参考にし
options.add_argument('--disable-blink-features=AutomationControlled')
を追加し実行すると画面は進める事は出来たのですが、『バックグラウンドでブラウザを立ち上げて画面を進める』という事が出来ませんでした。

下のコードはブラウザを実際に画面上に開くコードです。

from lib2to3.pgen2 import driver
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from webdriver_manager.chrome import ChromeDriverManager

chrome_path = r"C:\hoge\chromedriver.exe"

options = Options()
options.add_argument('--disable-blink-features=AutomationControlled')
# options.add_argument("--headless")
options.add_experimental_option("excludeSwitches", ['enable-automation'])
driver = webdriver.Chrome(ChromeDriverManager().install(), options = options)
capabilities = DesiredCapabilities.CHROME.copy()
capabilities['acceptInsecureCerts'] = True

url = 'https://hogehoge.com'

# URLを２つのタブで開くと何故か画面が進む
driver.get(url)
driver.execute_script("window.open('{}');".format(url))
driver.execute_script("window.open('url');")
driver.switch_to.window(driver.window_handles[0])

while True:
    try:
　　　#　進む前の画面内の要素があるか
        elem = driver.find_element_by_xpath('//*[@id="cf-content"]/h1/span')
    except:
        print('切り替わりました。')
        break

調べた事

python selenium Checking your browser before accessing
などでググってみたのですが、バックグラウンドで画面を進める内容のページが見つけられず、こちらで質問させて頂きました。

何か方法がありませんでしょうか？
教えて頂けると幸いです。よろしくお願い致します。

Comments

[RiaFeed]

検索されているならご存じかと思われますが、これはDDoS攻撃やbotアクセス対策ですので突破しようとする行為は慎みましょう。

[meg_]

スクレイピング先のサイトは自動化によるアクセスを禁止していませんよね？

[dd_]

皆様コメントありがとうございます。
スクレイピング先のサイトは規約など一切なく
おそらく、自動化によるアクセスの禁止はしていないと思い質問させて頂きました。。

[meg_]

> スクレイピング先のサイトは規約など一切なく
> おそらく、自動化によるアクセスの禁止はしていないと思い質問させて頂きました。。
そうであればURLを提示いただくと回答が付きやすくなるかもしれません。

[dd_]

ご返信ありがとうございます。
urlは載せることが難しいので、このまま回答を待ってみたいと思います。ご提案ありがとうございます。
もし回答が付かなそうで有れば今まで通りのやり方でやってみたいと思います。