【Python Selenium】Webページのロード状態から抜け出せない

Question

【Python Selenium】Webページ読み込みがずっとクルクルしている状態です。。

Pythonでソニーストアのスクレイピングをしています。
'#'が付いたULRはロード状態から抜け出せますが、'#'がないURLはロード状態が永遠に続きます。

該当のソースコード

import bs4
import requests
import textwrap
import time
import datetime
import pandas as pd
import openpyxl as px
import os
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait

driver = webdriver.Chrome(ChromeDriverManager().install())
#url = 'https://electronics.sony.com/audio/car-marine-audio/in-car-receivers-amps/p/dsxb700'
url = 'https://electronics.sony.com/tv-video/tv-video-home-theater-sound-bars/soundbars/p/hts350'

driver.implicitly_wait(10)
driver.get(url)

# スクレイピングコード

driver.quit()

試したこと

driver.set_page_load_timeout(15)やdriver.refresh()を追加しても状況は改善されませんでした。
サイトの重さとかが関係しているのでしょうか？

お詳しい方がいましたら、アドバイスをよろしくお願いします。

Comments

[taC-h]

driver.set_page_load_timeout(15)をdriver.get(url)の後で呼び出していませんか？
get前にset_page_load_timeoutした場合，こちらの環境ではtimeoutしました

[_py]

コメントありがとうございます。
driver.get(url)の前にdriver.set_page_load_timeout(15)を呼び出して、timeoutする事は確認しています。
timeoutした場合は、その後の処理が進まず、そこで処理終了ですよね？
途中でロードを中断して、後の処理を実行させたいのですが、何か方法はありますでしょうか？

以上、よろしくお願いします。

Answer 1

タイムアウト設定後，タイムアウトをハンドリングすれば処理を継続させられます

from selenium.common.exceptions import TimeoutException

...

driver.set_page_load_timeout(15)
#タイムアウトのハンドリング
try:
    driver.get(url)
except TimeoutException:
    pass

# スクレイピングコード

参考
Python公式チュートリアル:例外を処理する
selenium APIドキュメント非公式日本語訳

Comments

[_py]

pass追加したら、思うような動作ができました！
ありがとうございました。