pythonのwebdriverでfirefoxを使う際にエラーが出てしまう

Question

リモート先のArchLinuxからpythonのwebdriverでfirefoxを使ってスクレイピングをしようとしたのですが、以下のようなエラーが出てうまくいきませんでした。

開発環境

Arch linux
python 3.6

コマンド

sudo pacman -Sy --noconfirm unzip icu xorg-server-xvfb &&
sudo pacman -Sy --noconfirm firefox &&
wget https://github.com/mozilla/geckodriver/releases/download/v0.21.0/geckodriver-v0.21.0-linux64.tar.gz -O g.tar.gz &&
yes|tar -zxvf g.tar.gz &&
rm -rf g.tar.gz &&
pip3 install selenium &&
pip3 install pyvirtualdisplay &&
python3 scrape.py

ソースコード

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.firefox.firefox_binary import FirefoxBinary
from pyvirtualdisplay import Display
from time import sleep

if __name__ == "__main__":
    display = Display(visible=0, size=(1024, 768))
    display.start()
    
    binary = FirefoxBinary("/usr/sbin/firefox")
    binary.add_command_line_options("-headless")
    cap = DesiredCapabilities().FIREFOX.copy()
    cap["marionette"] = False
    cap["firefox_binary"] = "/usr/sbin/firefox"
    driver = webdriver.Firefox(
        firefox_binary=binary,
        executable_path="./geckodriver", capabilities=cap)
                             
    driver.get("https://www.google.com/")
    driver.close()
    display.stop()

エラー文

Traceback (most recent call last):
  File "scrape.py", line 12, in <module>
    driver = webdriver.Firefox(executable_path="./geckodriver", capabilities=cap)
  File "/usr/lib/python3.6/site-packages/selenium/webdriver/firefox/webdriver.py", line 184, in __init__
    self.binary, timeout)
  File "/usr/lib/python3.6/site-packages/selenium/webdriver/firefox/extension_connection.py", line 52, in __init__
    self.binary.launch_browser(self.profile, timeout=timeout)
  File "/usr/lib/python3.6/site-packages/selenium/webdriver/firefox/firefox_binary.py", line 73, in launch_browser
    self._wait_until_connectable(timeout=timeout)
  File "/usr/lib/python3.6/site-packages/selenium/webdriver/firefox/firefox_binary.py", line 104, in _wait_until_connectable
    "The browser appears to have exited "
selenium.common.exceptions.WebDriverException: Message: The browser appears to have exited before we could connect. If you specified a log_file in the FirefoxBinary constructor, check it for details.

追記

sudo pacman -Sy --noconfirm firefox firefox-adblock-plus firefox-noscript
を実行することで上記のエラーは起こらなくなったのですが、代わりに以下のようなエラーが出るようになりました。このエラーの解決方法をご教授ください。

エラー文

selenium.common.exceptions.WebDriverException: Message: Can't load the profile. Possible firefox version mismatch. 
You must use GeckoDriver instead for Firefox 48+. Profile Dir: /tmp/tmpvwp6fuam 
If you specified a log_file in the FirefoxBinary constructor, check it for details.

Answer 1

確かFierefoxだと、headlessではそのまま動かないと思います。

解決法としては、geckdriver（https://github.com/mozilla/geckodriver/issues/1159）を使う。

※この記事の中頃からが参考になります。
https://vaaaaaanquish.hatenablog.com/entry/2017/08/31/172020

もしくはFirefoxに特段のこだわりが無ければPhantomJSを使うのがオススメです。

Comments

[hukuda222]

ご回答ありがとうございます。geckodriverはすでに使っています。webdriver.Firefoxの引数にexecutable_pathとしてパスを記載しています。
二つ目のリンク先の記事では同様のエラーが出ていますが、その記事と同様にbinary.add_command_line_optionsを使ってheadlessの指定をしているので関係ないのではないかと思います。
また、firefoxにこだわりはないですが、PhantomJSはメンテナンスが終了しているのでできれば使わない方向で実装したいと考えています。

[YugoNakashima]

お、失礼いたしました。
他の方法を考えてみます。