seleniumでの挙動とブラウザでの挙動が異なり読み込みが終わらない

Question

実現したいこと

• PythonでSeleniumを利用し、チケット販売サイトにログインを行えるようにする
• チケットの販売状況を監視し、Restock通知をLINE通知する

前提

Pythonで現在、Seleniumを利用してスクレイピングをしております。
しかしながら、Chromeで当該サイトにアクセスした際の挙動とSelenium経由でアクセスした場合の挙動が異なっておりうまくいかない状況です。
具体的には、リクエストを出したときのレスポンスが帰ってこなかったり
トップ画面のローディングにひたすら時間がかかっている状態となっております。
また、その結果TOP画面に戻ってきた際にログイン状態となっておらず、正しい認証情報にも関わらずログインに失敗しているような挙動です
Chromeでアクセスした際の挙動との差異が出ている原因がわかれば、問題なく動くのではないかと愚考しておりますが
初めてSeleniumを触ることもあり、オプションの部分も調べてみましたが少しお手上げ状態のためご知見を借りられたらと思い投稿しました

発生している問題・エラーメッセージ

Message: timeout: Timed out receiving message from renderer: 299.153
  (Session info: chrome=111.0.5563.111)

該当のソースコード

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.select import Select
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.alert import Alert
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.action_chains import ActionChains
from urllib3.util import wait
import time
import requests
# Seleniumを起動
options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
options.add_argument("enable-automation")
options.add_argument("--no-sandbox")
options.add_argument("--disable-infobars")
options.add_argument('--disable-extensions')
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--disable-browser-side-navigation")
options.add_argument("--disable-gpu")
options.add_argument('--ignore-certificate-errors')
options.add_argument('--ignore-ssl-errors')
prefs = {"profile.default_content_setting_values.notifications" : 2}
options.add_experimental_option("prefs",prefs)

driver = webdriver.Chrome()
#Debug中のためTryで囲んでないです
driver.get("https://plan.tokyodisneyresort.jp/2/?lang=ja&login=true&redirectUrl=%2Fcart%2Fshow%2F%3Flang%3Dja")
#Frame読み込みまち
WebDriverWait(driver, 100).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#oneid-iframe")))
iframe = driver.find_element(By.CSS_SELECTOR, "#oneid-iframe")
driver.switch_to.frame(iframe)
#Submitボタン読み込みまち
WebDriverWait(driver, 100).until(EC.presence_of_all_elements_located((By.ID,"BtnSubmit")))
LoginId = driver.find_element(By.CSS_SELECTOR,"#InputLoginValue")
LoginId.send_keys("<ID>")
time.sleep(1)
password = driver.find_element(By.ID,"InputPassword")
password.send_keys("<PASSWORD>")
time.sleep(1)
driver.find_element(By.ID,"BtnSubmit").click()

#TOPに遷移してくるが、この段階でログイン状態ではない
#チケット選択へ
WebDriverWait(driver, 100).until(EC.presence_of_all_elements_located((By.XPATH,"/html/body/div[1]/header/div[2]/div[2]/div[1]/a")))
#この後、選択処理記載

試したこと

• オプションの変更
• Sleepではなく、WebDriverWaitの利用

補足情報（FW/ツールのバージョンなど）

Pyhtonは3.11

Comments

[meg_]

> Chromeで当該サイトにアクセスした際の挙動とSelenium経由でアクセスした場合の挙動が行っており
「挙動が行っており」とは何でしょうか？おそらく挙動が違う、と言いたいのかと思いますが、そのサイトは利用規約などでスクレイピングが禁止されていませんか？サイトがスクレイピング対策を行っている場合、スクレイピングが失敗することがあるようです。

[emtenpra]

誤字のご指摘ありがとうございます。ご推察の通り、挙動が異なり、と記載したかった部分になります。修正させていただきました。
また、利用規約を確認しましたがスクレイピング禁止などは記載されておらず、暗黙的に対策がされている可能性もあるかと考えております。

[Demerara]

ログイン画面の右下に「reCAPTCHAで保護されています」とありますが、通常の方法でログインした際、何かしらの確認画面が出ませんか？それは、selenium 等の bot をブロックするものなので、ログインに失敗してしまうのだと思います。

[emtenpra]

記載が足りず失礼しました。
確かにreCAPTCHAなどで引っかかるときもあるのですが、その時は手動でパスさせています。
reCAPTCHAが入るとき、入らないときどちらもありますが、挙動は変わらずブラウザの時は１～２秒で終わる読み込みが全く終わらない。という事象は残り続けている状態です

[Demerara]

上記のコードで成功することもあるし、失敗することもある。
ログインボタンの押下に成功した後は、キャプチャが出ることもあるし、出ないこともある。
出た場合は、手動でパスしている。
キャプチャが出ずにタイムアウト、もしくは手動でパスした後にタイムアウト。
正常に読み込みが終わったとしてもログイン状態になっていない。

という認識で合ってますか？

よくわかりませんが、selenium の場合、その reCAPTCH の読み込みを待たずに要素を探してしまうのでタイムアウトしてるんじゃないですか？
最後のチケット選択のコードをコメントアウトして、time.sleep(5) とかして様子を見てみてはどうでしょうか？