seleniumでchromedriverを使いたいです。

Question

こちらの方に、現在の問題をまとめて記載させていただきました。

https://teratail.com/questions/224723?modal=q-comp

以前に質問なさった方の方法も参考にさせていただいたのですが、
https://teratail.com/questions/190466
解決できなかったため、質問させていただきます。

from time import sleep
from selenium import webdriver

# chromeを起動
browser = webdriver.Chrome('/home/ec2-user/.local/lib/python3.6/site-packages/chromedriver')

browser.get("https://www.google.co.jp")

browser.save_screenshot("screen.png")

sleep(5)
browser.close()

ec2-user:~/environment/ch2 $ python3 chromeDriver.py
Traceback (most recent call last):
  File "/home/ec2-user/.local/lib/python3.6/site-packages/selenium/webdriver/common/service.py", line 76, in start
    stdin=PIPE)
  File "/usr/lib64/python3.6/subprocess.py", line 729, in __init__
    restore_signals, start_new_session)
  File "/usr/lib64/python3.6/subprocess.py", line 1364, in _execute_child
    raise child_exception_type(errno_num, err_msg, err_filename)
PermissionError: [Errno 13] Permission denied: '/home/ec2-user/.local/lib/python3.6/site-packages/chromedriver'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "chromeDriver.py", line 7, in <module>
    browser = webdriver.Chrome('/home/ec2-user/.local/lib/python3.6/site-packages/chromedriver')
  File "/home/ec2-user/.local/lib/python3.6/site-packages/selenium/webdriver/chrome/webdriver.py", line 73, in __init__
    self.service.start()
  File "/home/ec2-user/.local/lib/python3.6/site-packages/selenium/webdriver/common/service.py", line 88, in start
    os.path.basename(self.path), self.start_error_message)
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable may have wrong permissions. Please see https://sites.google.com/a/chromium.org/chromedriver/home

chromedriverのインストール場所

ec2-user:~/environment/ch2 $ pip install chromedriver
Requirement already satisfied: chromedriver in /home/ec2-user/.local/lib/python3.6/site-packages (2.24.1)

vimでパスを通してみようと試みるも

/home/ec2-user/.local/lib/python3.6/site-packagesの場所にパスを通したらchromedriverがうまく動くかなと思って(which chromedriverで見つからなかったので)、vi ~/.bashrcのコマンドを打って、

export PATH="$PATH:$HOME/.local/lib/python3.6/site-packages"

と追記し、
:wqで抜けたので、パスがうまく通るのかな、と思ったのですが通りませんでした。

そもそもパスの問題ではないのか等、教えていただけると幸いです。

Comments

[otn]

ls -l /home/ec2-user/.local/lib/python3.6/site-packages/chromedriver
は？

[jack_kanzaki]

ec2-user:~/environment/ch2 $ ls -l /home/ec2-user/.local/lib/python3.6/site-packages/chromedriver
total 8
-rw-rw-r-- 1 ec2-user ec2-user 684 Oct 12 17:59 __init__.py
drwxrwxr-x 2 ec2-user ec2-user 4096 Oct 12 17:59 __pycache__

[jack_kanzaki]

早速のお返事ありがとうございます。

[otn]

> vimでパスを通してみようと試みるも

$HOME/.local/lib/python3.6/site-packages は、Pythonのライブラリなので、PATHとは関係ないです。

[jack_kanzaki]

了解です。
いつもお返事ありがとうございます。

Answer 1

webdriver.Chrome()の引数は、Pythonパッケージのディレクトリじゃなくて、chromedriverの実行ファイルのパスを指定します。

chromedriverはどこにダウンロードしましたか？そのファイルのフルパスです。
あるいはしていないのなら、下記からChromeのバージョンに合ったものをダウンロードしてください。
https://chromedriver.chromium.org/downloads

Comments

[jack_kanzaki]

ec2-user:~/environment/ch2 $ cd /home/ec2-user/.local/lib/python3.6/site-packages
ec2-user:~/.local/lib/python3.6/site-packages $ ls

すると、chromedriverがあるのですが、これはインストールされたもではないのかもしれません。
これがchromedriverのインストールされた場所だと思っていました。

[otn]

> すると、chromedriverがあるのですが、
ls -l してもらった結果、実行ファイルじゃなくてディレクトリであることがわかりました。

[otn]

上記サイトからダウンロードしたかどうか覚えてないのなら、ダウンロードして、
~/bin/ あたりに入れておくとよいと思います。
selenium用pythonパッケージのインストールでは、chromedriver の実行ファイルはインストールされません。chromeブラウザのバージョンに依存するので。

[jack_kanzaki]

wget https://chromedriver.storage.googleapis.com/78.0.3904.70/chromedriver_linux64.zip
をもちいて/usr/local/binに作成しましたが、同様のエラーが出てしまいました。Amazon Linuxを用いている場合はlinux64の方をダウンロードするという認識でしたが、大丈夫でしょうか。
尚、windows10でAWS cloud9を利用しています。
引き続き、よろしくお願いいたします。

[jack_kanzaki]

/usr/local/binにファイルは作られたものの、中身がないのかもしれません。
ec2-user:/usr/local/bin $ wget https://chromedriver.storage.googleapis.com/78.0.3904.70/chromedriver_linux64.zip
--2019-11-17 23:51:16-- https://chromedriver.storage.googleapis.com/78.0.3904.70/chromedriver_linux64.zip
Resolving chromedriver.storage.googleapis.com (chromedriver.storage.googleapis.com)... 172.217.25.112, 2404:6800:4004:80b::2010
Connecting to chromedriver.storage.googleapis.com (chromedriver.storage.googleapis.com)|172.217.25.112|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 5527671 (5.3M) [application/zip]
chromedriver_linux64.zip: Permission denied

Cannot write to ‘chromedriver_linux64.zip’ (Success).

[otn]

/usr/local/bin に書き込み権はあるのですか？
というか、zipファイルをbinに入れてもしょうがない。
解凍後の実行ファイルを入れましょう。

[jack_kanzaki]

zipファイルをlinuxへ解凍していれる方法がわからないので、また調べて質問させてください。
ご回答本当にありがとうございます。

[otn]

解凍は、unzip ～～～.zip です。

[jack_kanzaki]

遅くなりました。
ありがとうございます。
zipファイルの解凍まで、たどり着けました！

Answer 2

一連の問題をqittaにまとめてみました。
https://qiita.com/jack_kanzaki/items/84cb6e56d0cf71ac3dbe

Comments

[otn]

chromedriver以前に、そもそもChromeが動くようになってなかったと言うことですかね。
方向としては xvfb を使うという方向でいいかと思います。

[jack_kanzaki]

その通りです。
かしこまりました。

[otn]

そういった意味では、前提がクリアされているかどうかですね。
・まず、Chromeが動くことを確認しましょう
・Pythonが動くことを確認しましょう
・pip等でパッケージがインストールできることを確認しましょう
で、はじめてselenium-webdriverに取りかかれます。

[jack_kanzaki]

現在、chromeが動かなくて困っています。
どのようにすれば、動くようになりますでしょうか。

[otn]

経験なく、ちょこちょこっとやってみるレベルを超えているので、わかりません。

[jack_kanzaki]

ちょっと、うまくいかないので、いったん保留にしておくことにしました(^^)

返信、何度も本当にありがとうございます！！

Answer 3

chromeが壊れているかもしれないというエラーに変更になりました。

ec2-user:~/environment/ch2 $ python3 chromedriver.py
Traceback (most recent call last):
  File "chromedriver.py", line 4, in <module>
    browser = webdriver.Chrome()
  File "/home/ec2-user/.local/lib/python3.6/site-packages/selenium/webdriver/chrome/webdriver.py", line 81, in __init__
    desired_capabilities=desired_capabilities)
  File "/home/ec2-user/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 157, in __init__
    self.start_session(capabilities, browser_profile)
  File "/home/ec2-user/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session
    response = self.execute(Command.NEW_SESSION, parameters)
  File "/home/ec2-user/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/home/ec2-user/.local/lib/python3.6/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally
  (unknown error: DevToolsActivePort file doesn't exist)
  (The process started from chrome location /opt/google/chrome/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)

尚、/opt/google/chromeは以下の通りです。

ec2-user:/opt/google/chrome $ ls 
chrome                  lib                    product_logo_16.png   swiftshader
chrome_100_percent.pak  locales                product_logo_24.png   v8_context_snapshot.bin
chrome_200_percent.pak  MEIPreload             product_logo_256.png  WidevineCdm
chrome-sandbox          nacl_helper            product_logo_32.png   xdg-mime
default-app-block       nacl_helper_bootstrap  product_logo_32.xpm   xdg-settings
default_apps            nacl_irt_x86_64.nexe   product_logo_48.png
google-chrome           natives_blob.bin       product_logo_64.png
icudtl.dat              product_logo_128.png   resources.pak

また、vi google-chromeは以下のようになっています。

#!/bin/bash
#
# Copyright (c) 2011 The Chromium Authors. All rights reserved.
# Use of this source code is governed by a BSD-style license that can be
# found in the LICENSE file.

# Let the wrapped binary know that it has been run through the wrapper.
export CHROME_WRAPPER="`readlink -f "$0"`"

HERE="`dirname "$CHROME_WRAPPER"`"

# We include some xdg utilities next to the binary, and we want to prefer them
# over the system versions when we know the system versions are very old. We
# detect whether the system xdg utilities are sufficiently new to be likely to
# work for us by looking for xdg-settings. If we find it, we leave $PATH alone,
# so that the system xdg utilities (including any distro patches) will be used.
if ! which xdg-settings &> /dev/null; then
  # Old xdg utilities. Prepend $HERE to $PATH to use ours instead.
  export PATH="$HERE:$PATH"
else
  # Use system xdg utilities. But first create mimeapps.list if it doesn't
  # exist; some systems have bugs in xdg-mime that make it fail without it.
  xdg_app_dir="${XDG_DATA_HOME:-$HOME/.local/share/applications}"
  mkdir -p "$xdg_app_dir"
  [ -f "$xdg_app_dir/mimeapps.list" ] || touch "$xdg_app_dir/mimeapps.list"
fi

# Always use our versions of ffmpeg libs.
# This also makes RPMs find the compatibly-named library symlinks.
if [[ -n "$LD_LIBRARY_PATH" ]]; then
  LD_LIBRARY_PATH="$HERE:$HERE/lib:$LD_LIBRARY_PATH"
else
  LD_LIBRARY_PATH="$HERE:$HERE/lib"
fi
export LD_LIBRARY_PATH

export CHROME_VERSION_EXTRA="stable"

# We don't want bug-buddy intercepting our crashes. http://crbug.com/24120
export GNOME_DISABLE_CRASH_DIALOG=SET_BY_GOOGLE_CHROME

# Sanitize std{in,out,err} because they'll be shared with untrusted child
# processes (http://crbug.com/376567).
exec < /dev/null
exec > >(exec cat)
exec 2> >(exec cat >&2)

# Note: exec -a below is a bashism.
exec -a "$0" "$HERE/chrome" "$@"

引き続き、よろしくお願いします。

Comments

[jack_kanzaki]

https://teratail.com/questions/224723?modal=q-comp
こちらの方にまとめて記載させていただきました。

Answer 4

chromedriverを/usr/local/bin/chromedriverという位置に置くことができました。
まだ、chromedriverは動かないので、別枠で質問させてください。

ec2-user:/usr/local/bin $ sudo wget https://chromedriver.storage.googleapis.com/78.0.3904.70/chromedriver_linux64.zip


--2019-11-21 10:29:02--  https://chromedriver.storage.googleapis.com/78.0.3904.70/chromedriver_linux64.zip
Resolving chromedriver.storage.googleapis.com (chromedriver.storage.googleapis.com)... 172.217.26.16, 2404:6800:4004:809::2010
Connecting to chromedriver.storage.googleapis.com (chromedriver.storage.googleapis.com)|172.217.26.16|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 5527671 (5.3M) [application/zip]
Saving to: ‘chromedriver_linux64.zip’

chromedriver_linux64.zip   100%[=======================================>]   5.27M  --.-KB/s    in 0.08s  
(62.9 MB/s) - ‘chromedriver_linux64.zip’ saved [5527671/5527671] 

ec2-user:/usr/local/bin $ sudo unzip chromedriver_linux64.zip                                              
Archive:  chromedriver_linux64.zip
  inflating: chromedriver

ec2-user:/usr/local/bin $ sudo rm -rf chromedriver_linux64.zip

Comments

[otn]

PATHの通ったところに置いたので、引数なしの、
browser = webdriver.Chrome()
でいいです。

[jack_kanzaki]

かしこまりました。

[jack_kanzaki]

このサイトがwgetした後に、unzipするという方法において参考になりました。
https://ac-5.net/linux/root_directory_403