pythonでのスクレイピングの準備段階で急にエラーが出るようになりました

Question

前提

スクレイピングをするため、chromeで操作をしたていたのですがその準備段階で同じコードで今までで起きなかったエラーが起きるようになりました。

実現したいこと

スクレイピングをするキーワードをサイト内の検索ボックス打ち込みたいです。

発生している問題・エラーメッセージ

エラーメッセージ

WebDriverException Traceback (most recent call last)
<ipython-input-6-f4fabb882eed> in <module>
24
25
---> 26 driver = webdriver.Chrome('chromedriver',options=options)
27
28 driver.implicitly_wait(10)

3 frames
/usr/local/lib/python3.8/dist-packages/selenium/webdriver/common/service.py in assert_process_still_running(self)
117 return_code = self.process.poll()
118 if return_code:
--> 119 raise WebDriverException(f"Service {self.path} unexpectedly exited. Status code was: {return_code}")
120
121 def is_connectable(self) -> bool:

WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: -6

該当のソースコード

python
ソースコード
!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!pip install selenium

from selenium import webdriver
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import time
import re
import requests
import chromedriver_binary

options = webdriver.ChromeOptions()

options.add_argument('--headless')

options.add_argument('--no-sandbox')

options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('chromedriver',options=options)

driver.implicitly_wait(10)

試したこと

googleやTwitterなどで検索しましたが、出てこず、手も足も出ない状況です。

Answer 1

もし環境がColabであれば、ubuntuバージョンが更新された影響だと思われます。
詳細は以下の回答を参照ください。
Python:Colabにてスクレイピングを行う際にエラーが発生

Comments

[nin_niku]

ご回答ありがとうございます！
環境はColabです！初心者で申し訳ございません。このやり方だと修正を待つしかないのでしょうか？
また恐れ入りますが、Colabだと検索欄等にキーワード入れてボタンをクリックする動きはこの他の方法がございましたらご教示いただきたいです。。

[8524ba23]

参照先の回答に記載したとおり「fallback runtime version」上だと動作するかもしれません。
具体的な手順についてはリンク先など確認ください。
また、「検索欄等にキーワード入れて～」など具体的な操作についてはよく知らないので分かりません。

[quickquip]

githubのissueの方にdebianのレポジトリから同等のパッケージを持ってくるやり方も紹介されてます。

ここからは余談です。
「やりたいこと」に対してどれがよりよい方法か? は第三者には判断できません。また、現在進行形で「どうしていくのがいいか?」が議論されている事柄です。それに対して「自分で調べていろいろ試す」か「誰かが対応してくれるまで待つ」かは、自分で決めることではないでしょうか?

[nin_niku]

ご回答ありがとうございます！
知識不足で大変申し訳ございません、ご親切に教えてくださりありがとうございます！

Answer 2

このコードを追記すれば対策できます。
https://github.com/kaliiiiiiiiii/Selenium-Profiles/issues/10#issuecomment-1387618009

同じように困っている人のため解説すると、colabのUbuntuのバージョンが18から20に上がりました。
この関係で、chromium-browserがnon snap版からsnap版に置き換わってます。
colabではsnapは動作しておらず、chromium-browser起動してもエラーが発生します。

URL先の対処では、debianのレポジトリを追加して、そこから、non snap版のchromiumをインストールしてます。

Comments

[nin_niku]

ありがとうございます！このやり方で無事回すことができました！