SeleniumをStreamlit Cloudで動作させる方法

Question

実現したいこと

Streamlit Cloud上でSeleniumのdriverを設定したいです。

発生している問題・分からないこと

下記を実行したときエラーが発生します。
driver = webdriver.Chrome(
service=ChromiumService(
ChromeDriverManager(chrome_type=ChromeType.CHROMIUM).install()
)
)

エラーメッセージ

Traceback:
File "/home/adminuser/venv/lib/python3.11/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 535, in _run_script
    exec(code, module.__dict__)
File "/mount/src/driver_test.py", line 27, in <module>
    driver = generate_driver()
             ^^^^^^^^^^^^^^^^^
File "/mount/src/driver_test.py", line 20, in generate_driver
    ChromeDriverManager(chrome_type=ChromeType.CHROMIUM).install()
File "/home/adminuser/venv/lib/python3.11/site-packages/webdriver_manager/chrome.py", line 40, in install
    driver_path = self._get_driver_binary_path(self.driver)
                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/adminuser/venv/lib/python3.11/site-packages/webdriver_manager/core/manager.py", line 40, in _get_driver_binary_path
    file = self._download_manager.download_file(driver.get_driver_download_url(os_type))
                                                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/adminuser/venv/lib/python3.11/site-packages/webdriver_manager/drivers/chrome.py", line 32, in get_driver_download_url
    driver_version_to_download = self.get_driver_version_to_download()
                                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/adminuser/venv/lib/python3.11/site-packages/webdriver_manager/core/driver.py", line 48, in get_driver_version_to_download
    return self.get_latest_release_version()
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/adminuser/venv/lib/python3.11/site-packages/webdriver_manager/drivers/chrome.py", line 64, in get_latest_release_version
    determined_browser_version = ".".join(determined_browser_version.split(".")[:3])
                                          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

該当のソースコード

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from webdriver_manager.core.os_manager import ChromeType
from webdriver_manager.chrome import ChromeDriverManager
import streamlit as st
from selenium.webdriver.chrome.service import Service as ChromiumService


def generate_driver():
    options = Options()
    options.add_argument("--headless")  
    options.add_argument(
        "--no-sandbox"
    )  
    options.add_argument(
        "--disable-dev-shm-usage"
    )  
    driver = webdriver.Chrome(
        service=ChromiumService(
            ChromeDriverManager(chrome_type=ChromeType.CHROMIUM).install()
        )
    )
    return driver


st.title("driver_test.py")
driver = generate_driver()

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

以下サイトを参考にブラウザはchromiumを使用しました。
https://ohenziblog.com/streamlit_cloud_for_selenium/

Seleniumは4.17.2を使用。webdriver-managerの説明から該当箇所を以下のように変更しました。
selenium 4
driver = webdriver.Chrome(service=BraveService(ChromeDriverManager(chrome_type=ChromeType.BRAVE).install()))
Selenium3も試しましたが、同じ個所でエラーが発生しました。
参考：https://pypi.org/project/webdriver-manager/

補足

Streamlit Cloudにてdeployしたアプリ上で実行しました。
Pythonは3.11です。
ライブラリのバージョンは以下の通りです。
Selenium==4.17.2
streamlit==1.30.0
webdriver-manager==4.0.1

またpackges.txtは下記の通りです。
chromium
chromium-driver

Comments

[otn]

少なくともブラウザがChromeとかFirefox等なら、Selenium==4.17.2 なら、Selenium4.6からSelenium本体がChromedriver等を自動ダウンロードするようになってるので、webdriver_manageは不要ですが、Chromiumだと要るのしょうか？

「Chromeだと不要なのは知っているがChromiumだと要る」ということでなければ、使わないように修正してみましょう。
webdriver_manage自体は、古いSeleniumバージョンを使い続けている人向けにアップデートも続いているようですが、もしかすると、Selenium4.6以降でのテストはちゃんとやってないのかも。

[otn]

あと、options にオプションを設定していますが、それを使わずに、
driver = webdriver.Chrome(
してますね。オプション設定したいなら、
driver = webdriver.Chrome(options=options)
です。

[trifle_gz]

コメントありがとうございます。driver = webdriver.Chrome(options=options)
を試したところ問題が解決しました！
見ていた情報と使っていたライブラリのバージョンが違うのがよくなかったようです。

optionsは質問用にコードをシンプルに書き直そうとしたときに抜け落ちていました。
ご指摘ありがとうございます。

ベストアンサーに選びたいので同じ内容を回答欄に投稿いただけますでしょうか？

Answer 1

少なくともブラウザがChromeとかFirefox等なら、Selenium==4.17.2 なら、Selenium4.6からSelenium本体がChromedriver等を自動ダウンロードするようになってるので、webdriver_manageは不要です。

「Chromeだと不要なのは知っているがChromiumだと要る」ということでなければ、使わないように修正してみましょう。
webdriver_manage自体は、古いSeleniumバージョンを使い続けている人向けにアップデートも続いているようですが、もしかすると、Selenium4.6以降でのテストはちゃんとやってないのかも。

あと、options にオプションを設定していますが、それを使わずに、
driver = webdriver.Chrome(～～
してますね。これだとヘッドレス指定が無いので、ブラウザ画面を開こうとしますが、Cloud上だとディスプレイが無いのでは？
オプション設定を有効にするなら、webdriver_manage を使わないのと合わせると、
driver = webdriver.Chrome(options=options)
ですね。

Comments

[trifle_gz]

回答ありがとうございます。
試したところ問題が解決しました！
ベストアンサーに選ばせていただきました。

Answer 2

見た感じ、SeleniumのChromeドライバーを使用する際に発生しているっぽいです。
Streamlit Cloud上でSeleniumのChromeドライバーを設定する方法について説明します。

Streamlit Cloudでは、バックグラウンドで実行されるアプリケーションは、通常のローカルマシンとは異なる環境で実行されます。特に、Streamlit Cloudではヘッドレスブラウザー（ユーザーインターフェースを持たないブラウザー）を使用する必要があります。

簡単な手順をのせておきます。
1.Seleniumドライバーをインストールする。
2.ヘッドレスモードでChromeを実行する。
3.ドライバーを初期化し、適切なオプションを設定する。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
import streamlit as st

def generate_driver():
    options = Options()
    options.add_argument("--headless")  
    options.add_argument("--no-sandbox")  
    options.add_argument("--disable-dev-shm-usage")
    options.add_argument("--disable-gpu")  # グラフィックスの無効化
    driver = webdriver.Chrome(
        ChromeDriverManager().install(),
        options=options
    )
    return driver

st.title("driver_test.py")
driver = generate_driver()
driver.get("https://www.google.com")
st.write(driver.title)
driver.quit()

このコードでは、ChromeドライバーのインストールにChromeDriverManager()を使用しています。また、--disable-gpuオプションを追加することで、グラフィックス処理を無効化しています。これは、ヘッドレスモードでのChromeの安定性を向上させるためのものです。

このコードを実行すると、Streamlit Cloud上でSeleniumのChromeドライバーが設定され、指定したURL（ここではGoogle）にアクセスしてページのタイトルを表示すると思います。一度、お試しください