seleniumを動かしていて困っています。。。
スクレイピングプログラムなのですが、
少し時間を置いて実行するとうまくいくのに、連続して実行するとエラーになってしまいます。
エラー内容は以下の通りです。
selenium.common.exceptions.WebDriverException: Message: unknown error: unexpected command response (Session info: chrome=103.0.5060.114)
コードは以下になります。
scr()の関数でドライバとスクレイピング動作を定義し、
それをmain()で並列処理させています。
# 並列処理 def main(): with ThreadPoolExecutor(max_workers=2) as executor: executor.submit(scr) executor.submit(scr) # スクレイピング処理 def scr(): # ドライバの定義 def set_driver(): USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36" options = ChromeOptions() # 起動オプションの設定 options.add_argument(f'--user-agent={USER_AGENT}') # ブラウザの種類を特定するための文字列 options.add・・・ # ChromeのWebDriverオブジェクトを作成する。 service=Service(ChromeDriverManager().install()) return Chrome(service=service, options=options) driver = set_driver() driver.get("https://・・・")
可能性としては、、
・並列処理が悪い
並列処理を入れていないプログラムではうまく動作するため、並列処理で重くなってしまっている。
・Chromeとドライバをバージョンアップする。
エラー内容をググったところ下記のようなサイトがありました。
https://stackoverflow.com/questions/72758996/selenium-seleniumwire-unknown-error-cannot-determine-loading-status-from-unkn
などが考えられるのですが、原因おわかりの方がいらっしゃいましたら教えていただけますと助かります!!
処理を早くしたいため、できれば並列処理は入れたいです。
ご参考までに、プログラム実行時に表示される全文は以下になります。
====== WebDriver manager ====== ====== WebDriver manager ====== Current google-chrome version is 103.0.5060 Get LATEST chromedriver version for 103.0.5060 google-chrome Current google-chrome version is 103.0.5060 Get LATEST chromedriver version for 103.0.5060 google-chrome Driver [/Users/.wdm/drivers/chromedriver/mac64_m1/103.0.5060.53/chromedriver] found in cache Driver [/Users.wdm/drivers/chromedriver/mac64_m1/103.0.5060.53/chromedriver] found in cache Traceback (most recent call last): File "test.py", line 28, in <module> main() ・・・・・・・・ raise exception_class(message, screen, stacktrace) selenium.common.exceptions.WebDriverException: Message: unknown error: unexpected command response (Session info: chrome=103.0.5060.114) Stacktrace: 0 chromedriver 0x0000000102b1dd14 chromedriver + 3792148 1 chromedriver 0x0000000102ab4828 chromedriver + 3360808 2 chromedriver 0x00000001027b50b8 chromedriver + 217272 3 chromedriver 0x00000001027a4124 chromedriver + 147748 4 chromedriver 0x00000001027a38f4 chromedriver + 145652 5 chromedriver 0x00000001027a2f50 chromedriver + 143184 6 chromedriver 0x00000001027a27f8 chromedriver + 141304 7 chromedriver 0x00000001027bb69c chromedriver + 243356 8 chromedriver 0x000000010280dd74 chromedriver + 580980 9 chromedriver 0x00000001027da318 chromedriver + 369432 10 chromedriver 0x0000000102af31e8 chromedriver + 3617256 11 chromedriver 0x0000000102af7678 chromedriver + 3634808 12 chromedriver 0x0000000102afbc6c chromedriver + 3652716 13 chromedriver 0x0000000102af8110 chromedriver + 3637520 14 chromedriver 0x0000000102ad67ac chromedriver + 3499948 15 chromedriver 0x0000000102b0fbf0 chromedriver + 3734512 16 chromedriver 0x0000000102b0fd54 chromedriver + 3734868 17 chromedriver 0x0000000102b24558 chromedriver + 3818840 18 libsystem_pthread.dylib 0x000000019a7f826c _pthread_start + 148 19 libsystem_pthread.dylib 0x000000019a7f308c thread_start + 8
よろしくお願いいたします🙇

回答2件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。