Google Colab 上で Selenium の Webdriver が動かなくなった（Ubuntu 20.04 対応？）

Question

前提

google colabでseleniumを使って自動でスクレイピングしていたのですが、例外が発生してwebdriverが動かなくなりました。

ログを見ると少なくとも18日の朝4時までは問題なく動作していたのに、こちらから手を加えることなく例外が発生するようになったため、初心者ということもあり混乱しています。。。

調べたところ、どうやら18日に Colab がデフォルトのランタイムを数年ぶりに変更、 Ubuntu 18.04 LTS から Ubuntu 20.04 LTS にアップデートされ、それにより他のユーザーにも同様の問題が発生しているらしいのですが、色々と試しても例外に対処できずにいます。

参考リンク

・Colab が Ubuntu 20.04 LTS にアップデートされました(Colab公式ブログ)

・Google Colab で Selenium を使用するプログラムを何ヶ月も実行しています。今夜まで問題はありませんでした。(github)

実現したいこと

• google colab 上で seleniumのwebdriverを動かすにあたり例外に対処

発生している問題・エラーメッセージ

WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 1

該当のソースコード

!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!rm /etc/localtime
!ln -s /usr/share/zoneinfo/Asia/Tokyo /etc/localtime

!pip install selenium==4.7.0
!pip install chromedriver-binary-auto
!pip install webdriver-manager
!pip install jedi==0.17.2 # !pip check したらこれが必要とのことでとりあえずインストール

from selenium import webdriver
import chromedriver_binary

from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service as ChromeService

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

# 前使えたコードのままこちら↓を実行すると18日以降先ほどの例外が発生
driver = webdriver.Chrome('chromedriver',options=options)
# WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 1

実際よりもコードを大幅に簡略化しているのでこれで使えたという証明ができませんが、発生する例外は実際のコードでも同じなのでおそらくこの部分がコアだと思います。

試したこと

◆試したこと①

コード置き換え

例外の解決手段を調べてコードを置き換えてみました。

# 調べたコードを参考に先ほどの最後の行を以下に置き換えて実行すると別の例外が発生
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service as ChromeService
driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()),options=options)
# WebDriverException: Message: Service /(パス)/chromedriver unexpectedly exited. Status code was: -6

結果、例外のStatus codeが1から-6に変わったくらいで、こちらの例外について調べても要領を得ず、、、

---

◆試したこと②

Colabのフォールバック ランタイム バージョンを使用

上記Colab公式ブログにはこう書いてあります。（翻訳版）

フォールバック ランタイム バージョンを使用すると、一時的に Ubuntu 18.04 LTS ランタイムにアクセスできるようになり、1 月下旬まで利用できるようになります。これは、ランタイムに接続されているときに、「フォールバック ランタイム バージョンを使用」コマンドを介してコマンド パレットから使用できます。この設定はセッション間で保持されないことに注意してください。新しいセッションごとにコマンドを呼び出す必要があります。

Colabコマンドパレットから「代替ランタイムバージョンを使用する」を選択しましたが、今度はColabのセル実行そのものができないまま止まってしまう状況。（上記の簡略化したコードではなく実際のコードはセルが5つくらいに分かれており、その2つめのセルくらいで実行が止まってしまうのです）

また、フォールバックランタイムはセッション間で保持されないため毎度手動で呼び出す必要があり、何よりも１月末以降は使えなくなると書いてあります。
よって、いずれにせよ根本解決にはならなさそうです。

---

◆試したこと③

macターミナルでDebianからcromiumの互換性のあるバージョンをインストール

上記githubに投稿された同様の問題へのmetrizableという開発チームの方らしきアカウントからのコメント（以下に引用）によると、 Ubuntu 20.04 以降では chromium-chromedriver が配布（？）されなくなったことが問題の模様。

Thanks for using Colab. I understand that you'd like to use selenium with chromium-browser under Ubuntu 20.04 LTS. Although YMMV, since Ubuntu 20.04+ no longer distributes chromium-browser outside of a snap package, you can install a compatible version from the Debian buster repository:

このコメントによると、下記コマンドを実行することで互換性のあるchromedriverをインストールでき、それで問題が解決したようです。

%%shell
# Ubuntu no longer distributes chromium-browser outside of snap
#
# Proposed solution: https://askubuntu.com/questions/1204571/how-to-install-chromium-without-snap

# Add debian buster
cat > /etc/apt/sources.list.d/debian.list <<'EOF'
deb [arch=amd64 signed-by=/usr/share/keyrings/debian-buster.gpg] http://deb.debian.org/debian buster main
deb [arch=amd64 signed-by=/usr/share/keyrings/debian-buster-updates.gpg] http://deb.debian.org/debian buster-updates main
deb [arch=amd64 signed-by=/usr/share/keyrings/debian-security-buster.gpg] http://deb.debian.org/debian-security buster/updates main
EOF

# Add keys
apt-key adv --keyserver keyserver.ubuntu.com --recv-keys DCC9EFBF77E11517
apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 648ACFD622F3D138
apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 112695A0E562B32A

apt-key export 77E11517 | gpg --dearmour -o /usr/share/keyrings/debian-buster.gpg
apt-key export 22F3D138 | gpg --dearmour -o /usr/share/keyrings/debian-buster-updates.gpg
apt-key export E562B32A | gpg --dearmour -o /usr/share/keyrings/debian-security-buster.gpg

# Prefer debian repo for chromium* packages only
# Note the double-blank lines between entries
cat > /etc/apt/preferences.d/chromium.pref << 'EOF'
Package: *
Pin: release a=eoan
Pin-Priority: 500


Package: *
Pin: origin "deb.debian.org"
Pin-Priority: 300


Package: chromium*
Pin: origin "deb.debian.org"
Pin-Priority: 700
EOF

# Install chromium and chromium-driver
apt-get update
apt-get install chromium chromium-driver

# Install selenium
pip install selenium

最初にshellと書かれていたのでよくわからないながらもmacのターミナルで実行しようとしました。

が、何度やっても11行目の「EOF」を入力すると、catコマンドで作成したはずのファイルが見当たらないと言われ（下記メッセージ）、調べても解決方法がわからず、万策尽きてこちらに質問させていただきました。

zsh: no such file or directory: /etc/apt/sources.list.d/debian.list

上記7行目~10行目のcatコマンドを1行ずつ実行すると、ターミナルのプロンプトが「heredoc>」に変わっているので、7行目のcatコマンドのうち少なくとも「<<'EOF'」の部分は認識できているようです。

こちらをColabの別のセルに追記して実行しても、例外は変わらないままでした。

個人的な話ですが、初心者で諦めずコツコツ勉強して今月やっと自動でスクレイピングができるシステムを組むことが叶い、順調に動き出したところにいきなり数年ぶりのアップデートにぶつかり、情報も本当に少なくて心が折れそうでした。

ご教授よろしくお願いします。

補足情報（FW/ツールのバージョンなど）

mac OS 12.1

Comments

[can110]

試したこと③もColab上で実行しないといけません。

[sigma_user]

ありがとうございます。

試したこと③をColab上の別セルで先に実行した上で、githubのコメントを参考に最後の行を

options.headless = True
driver = webdriver.Chrome("/usr/bin/chromedriver", options=options)

に置き変えたところ、実際のコードも動作しました！ありがとうございました。

[qnoir]

解決したとのことで、修正。

Answer 1

自己解決ではないですが、コメントをいただいて、試したこと③のコードをmacのターミナルではなくColabの別セルにて実行し、最後の行を以下に置き変えたところ、簡易コード、実際のコード共に動作しました。

options.headless = True
from selenium.webdriver.chrome.service import Service as ChromeService
driver = webdriver.Chrome(service=ChromeService("/usr/bin/chromedriver"),options=options)

試したこと②のフォールバックランタイムバージョンがそのままだったようで最初はできませんでしたが、
「ランタイム」メニュー > 「セッションの管理」にてセッションを一旦終了し、再度実行したところwebdriverが動作したので解決です。

ただ、webdriverが変わった所以なのか、webdriverでボタンなどをクリックしようとしたときに別の問題として「Message: element not interactable」が各所で発生するようになったようです。まずはちまちまコードを直して対処してみます。