Python:Colabにてスクレイピングを行う際にエラーが発生

Question

内容

Python初心者です
Google Coraboratoryを使用しWebスクレイピングを実行したいと考えております。
Chrome立ち上げまでのコードをネット記事などを参考にして作り、問題なく実行できていたのですが、とある日からエラーが発生するようになりブラウザ立ち上げができなくなりました。
可能でしたらどなたか解決策、また再発防止策を教えていただけますでしょうか。

発生している問題・エラーメッセージ

WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 1

該当のソースコード

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome('chromedriver',options=options) #エラー部分

driver.implicitly_wait(10)

driver.get(https://www.google.com)

試したこと

エラー部分についてネット記事で別のコードを使っているものがあったのですが、こちらのコードも上手く動作しませんでした。
driver = webdriver.Chrome("/usr/lib/chromium-browser/chromedriver",options=options)

補足情報

初歩的で申し訳ございませんが、よろしくお願い致します。

Answer 1

このコードを追記すれば対策できます。
https://github.com/kaliiiiiiiiii/Selenium-Profiles/issues/10#issuecomment-1387618009

同じように困っている人のため解説すると、colabのUbuntuのバージョンが18から20に上がりました。
この関係で、chromium-browserがnon snap版からsnap版に置き換わってます。
colabではsnapは動作しておらず、chromium-browser起動してもエラーが発生します。

URL先の対処では、debianのレポジトリを追加して、そこから、non snap版のchromiumをインストールしてます。

Comments

[pikachu1]

分かりやすい解説ありがとうございます。
上記の件ですが、添付していただいたリンクに記載のコードを実行してみも同様のエラーが出てしまいます。
ちなみに別の方のパソコンで同じコードを動かしたところ問題なく実行できたのですが、デバイスの問題だったりするのでしょうか？

[naka1234]

%%shell以下のコードは、colabo上で動かす想定です。
colaboのコードに張り付けて実行してみてください。

[pikachu1]

早速のご回答ありがとうございます。
Colabに張り付けて実行しているのですが、同じ部分でエラーが出てしまいます。。。
違う方のパソコンでは上手く作動していたりするのですが、、、

[naka1234]

そもそもcolabはクラウド上で動作しているので、パソコンに依存することはありません。
上手く動かないパソコンで、他のパソコンで動いたノートブックを開いてみてください。

[pikachu1]

ノートブック自体は共有しているものを使用しておりますので、全く同じコードになります！
細かな部分まで説明していただきありがとうございます

[naka1234]

ランタイム⇒ランタイムを接続解除して削除
してから、再度実行してみてください。
同じのノートブックなら、同じ結果になるはずです。

[pikachu1]

ありがとうございます！
何故かはわからないですが、新しいノートブックで教えていただいたコードを動かしたら無事実行できました！
困っていたので本当に有難いです！

Answer 2

まったく同じ事象かは分かりませんがGoogle Colab WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 1 #10というIsuueが挙がっています。
Colab Updated to Ubuntu 20.04 LTSの影響のようです。
chrome？selenium？側の修正対応が入るのを待つか、上記にも記載されているfallback runtime versionで以前の18.04 LTS環境でしのぐしかないと思います。

Comments

[pikachu1]

ご回答とリンクの添付ありがとうございます。
fallback runtime versionというのは　%%shell　から始まるコードとはまた違うものでしょうか。
こちらのコードを実装してみたのですが、やはり同様のエラーがでてしまいます。
もしご存じであればご教授頂きたいです

[can110]

ツール→コマンドパレット→代替ランタイム バージョンを使用する
で実行するコマンドです。
ただちょっと試してみた限り、これでは解消しないようなので
naka1234さんの回答の方法を試すべきだと思います。

[pikachu1]

ありがとうございます！
naka1234さんに教えていただいた方法で実行することができました。
can110さんも親身に教えていただいて本当にありがとうございます！