webサーバでpythonによるwebdriver起動がうまくいかない

Question

ツイッターのスクレイピングの一環で動画をダウンロードするにあたりseleniumを使おうと考えています。
そのために、まずはwebdriverを起動させる必要があるんですが、webdriver.Chromeの部分でエラーがでます。
chromedriver実行ファイルが格納されているフルパスを指定していますが、なかなか前に進みません。

OS：linux64のwebサーバーにpythonファイルを格納して、サーバー上のターミナルで検証しています。
ご教示いただけますでしょうか？

from selenium import webdriver

driver = webdriver.Chrome('[path]/chromedriver')
driver.get('https://www.google.com')

エラー内容は以下のとおり

Traceback (most recent call last):
  File "virtualenv/root/3.8/src/test.py", line 3, in <module>
    driver = webdriver.Chrome('/home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/chromedriver_binary/chromedriver')
  File "/home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/selenium/webdriver/chrome/webdriver.py", line 73, in __init__
    self.service.start()
  File "/home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/selenium/webdriver/common/service.py", line 98, in start
    self.assert_process_still_running()
  File "/home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/selenium/webdriver/common/service.py", line 109, in assert_process_still_running
    raise WebDriverException(
selenium.common.exceptions.WebDriverException: Message: Service /home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/chromedriver_binary/chromedriver unexpectedly exited. Status code was: -5

Comments

[jbpb0]

> OS：linux64のwebサーバーにpythonファイルを格納して、サーバー上のターミナルで検証

の状態で、Pythonを起動せずに、普通にlunuxのコマンド (cd とか ls とか) を実行するのと同じようにして、chromedriverをフルパスで指定して実行してみてください
その際に、何かエラーが出ませんか？

正常に実行できれば、
https://qiita.com/YoshikiIto/items/ee42fa8931f2d97ff60c
の「実際に動かしてみる」の「1. chromedriver.exeを起動する」に書かれてるように、
Starting ChromeDriver...
みたいに表示されます

[unisara]

ありがとうございます。
chromedriverがうまく起動しなかったので、結果的に以下のコマンドで実行しました。
[username]@[servername] [~]# exec 'virtualenv/root/3.8/chromedriver-Linux64'

そうすると以下の結果が出力されます。
Starting ChromeDriver 2.24.417424 (c5c5ea873213ee72e3d0929b47482681555340c3) on port 9515
Only local connections are allowed.
ここまで表示されて以下の文言が出ないままフリーズします。
「Please protect ports used by ChromeDriver and related test frameworks to prevent access by malicious code.」

ポートは確認できているので念のため以下のコマンドを実行
curl -X POST -H 'Content-Type: application/json' -d '{ "capabilities": {} }' localhost:9515/session

すると結果は
{"sessionId":"8e75a5c5d34d51baef17cbafc6bd5e1c","status":13,"value":{"message":"unknown error: cannot find dict 'desiredCapabilities'\n (Driver info: chromedriver=2.24.417424 (c5c5ea873213ee72e3d0929b47482681555340c3),platform=Linux 3.10.0-962.3.2.lve1.5.38.el7.x86_64 x86_64)"}}
となります。

これは成功しているんでしょうか？

[jbpb0]

> Only local connections are allowed.
ここまで表示されて以下の文言が出ないままフリーズします。
「Please protect ports used by ChromeDriver and related test frameworks to prevent access by malicious code.」

私が使ってるWin 10でも、上記はそうなります

> chromedriverがうまく起動しなかったので、結果的に以下のコマンドで実行しました。
[username]@[servername] [~]# exec 'virtualenv/root/3.8/chromedriver-Linux64'

「webdriver.Chrome()」に、chromedriverが単独で起動した絶対パスを指定してみてください

> cannot find dict 'desiredCapabilities'

linux64のwebサーバーにはChromeはインストールしてあるのですよね？

参考
https://www.seleniumqref.com/api/python/browser/Python_chrome.html

[unisara]

＞linux64のwebサーバーにはChromeはインストールしてあるのですよね？
いえ。していませんでした。
やはり必要なんですね。

https://www.wikihow.jp/Linux%E3%81%AE%E3%82%BF%E3%83%BC%E3%83%9F%E3%83%8A%E3%83%AB%E3%81%8B%E3%82%89Google-Chrome%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%99%E3%82%8B

ここを参考にインストールを試みたんですが、sudoが見つからなかったりaptがnot foundだったりして断念していました。

[unisara]

>「webdriver.Chrome()」に、chromedriverが単独で起動した絶対パスを指定してみてください

結果以下のエラーが出ました。
Traceback (most recent call last):
File "virtualenv/root/3.8/src/test.py", line 3, in <module>
driver = webdriver.Chrome('/home/[username]/virtualenv/root/3.8/chromedriver-Linux64')
File "/home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/selenium/webdriver/chrome/webdriver.py", line 76, in __init__
RemoteWebDriver.__init__(
File "/home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 157, in __init__
self.start_session(capabilities, browser_profile)
File "/home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session
response = self.execute(Command.NEW_SESSION, parameters)
File "/home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
self.error_handler.check_response(response)
File "/home/[username]/virtualenv/root/3.8/lib/python3.8/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: cannot find Chrome binary
(Driver info: chromedriver=2.24.417424 (c5c5ea873213ee72e3d0929b47482681555340c3),platform=Linux 3.10.0-962.3.2.lve1.5.38.el7.x86_64 x86_64)

[jbpb0]

> cannot find Chrome binary

まずChrome入れないと

Pythonで何かするのは、そのあと

[jbpb0]

> aptがnot found

Linuxにもいろんなのがあって、aptじゃないの(yumとか)で管理してるのもあります
https://ja.wikipedia.org/wiki/%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E7%AE%A1%E7%90%86%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0#%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E3%82%92%E6%89%B1%E3%81%86%E3%83%84%E3%83%BC%E3%83%AB

[unisara]

yumで実行すると以下のエラーが出ました。
Traceback (most recent call last):
File "/bin/yum", line 28, in <module>
import yummain
ImportError: No module named yummain

https://wordpress.ideacompo.com/?p=13490
こちらを参考に対処しようとしましたが、yumファイルが書き込み不可で断念。

別の方法を探します。

Answer 1

cannot find Chrome binary

そのサーバーにChromeをインストールする必要があります
(ChromeDriverじゃなくて、WebブラウザのChrome)