AWSのEC2でfirefoxが起動できません

Question

実現したいこと

AWS EC2上でseleniumを使い、firefoxでスクレイピングをしたい。

前提

AWSのEC2でseleniumを使ったスクレイピングツールの開発をしています。
geckodriverを用いて、firefoxの起動が出来ません。

そもそもAWS EC2ではgekcodriverでfirefoxを起動できないのでしょうか？
別途、おすすめのデプロイ先がありましたら、ご教示いただけますと幸いです。

発生している問題・エラーメッセージ

selenium.common.exceptions.SessionNotCreatedException: 
Message: Expected browser binary location, 
but unable to find binary in default location, no 'moz:firefoxOptions.binary' capability provided, and no binary flag set on the command line

該当のソースコード

async def submit_form(request: Request, url: str = Form(...), number: int = Form(...),suburl: str = Form(...)):
  logger.debug("Starting form submission")
  for _ in range(number):
    options = Options()
    options.add_argument('--headless')
    options.binary = FirefoxBinary('/usr/bin/firefox')
    driver = webdriver.Firefox(executable_path='/home/ubuntu/selenium/geckodriver', options=options)
    driver.get("https://www.google.co.jp/")
    search = driver.find_element(By.NAME, "q")

試したこと

・whichi firefoxでバイナリファイルの位置確認済み。(/usr/bin/firefox)
・FirefoxBinaryの指定を「'/usr/bin/firefox/firefox113」にする

補足情報（FW/ツールのバージョンなど）

・firefox-113
・AWS EC2のOSはUbuntu
・geckodriverはfirefox113に対応するものを入れています。

ここにより詳細な情報を記載してください。

Comments

[quickquip]

マルチポストですね https://ja.stackoverflow.com/questions/95323/
https://teratail.com/help#posted-otherservice を参考にどうぞ
（マルチポストしてもメリットはほぼなくて、デメリットだけを被る感じかと思います）

Answer 1

この回答はGPT-4による自動生成回答です

AWS EC2上でSeleniumとFirefoxを使用することは可能です。ただし、いくつかの設定が必要です。

まず、FirefoxとGeckodriverをインストールしてください。

sudo apt-get update
sudo apt-get install -y firefox
wget https://github.com/mozilla/geckodriver/releases/download/v0.29.1/geckodriver-v0.29.1-linux64.tar.gz
tar -xvzf geckodriver-v0.29.1-linux64.tar.gz
sudo mv geckodriver /usr/local/bin/

次に、Xvfbをインストールして仮想ディスプレイを設定します。

sudo apt-get install -y xvfb
Xvfb :99 -ac &
export DISPLAY=:99

これで、SeleniumとFirefoxを使用してスクレイピングができるようになります。

以下のようにコードを修正してください。

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.by import By

async def submit_form(request: Request, url: str = Form(...), number: int = Form(...),suburl: str = Form(...)):
  logger.debug("Starting form submission")
  for _ in range(number):
    options = Options()
    options.add_argument('--headless')
    driver = webdriver.Firefox(executable_path='/usr/local/bin/geckodriver', options=options)
    driver.get("https://www.google.co.jp/")
    search = driver.find_element(By.NAME, "q")

これで、AWS EC2上でSeleniumとFirefoxを使用してスクレイピングができるはずです。