seleniumを使ってスクレイピングをしたいがchromedriverのPATHが通らない

Question

PythonでWebスクレイピングをしたいのですが、Javascript有効化の問題を突破する為、Selenium、chromedriverをインストールし、PATHを通すところまで完了した、はずだったのですが、PATHが通っていないというエラーが出てしまい、困っています。

前提・実現したいこと

chromedriverのPATHを通し、Seleiumを使えるようにしたい

発生している問題・エラーメッセージ

FileNotFoundError                         Traceback (most recent call last)
~/conda/envs/python/lib/python3.6/site-packages/selenium/webdriver/common/service.py in start(self)
     75                                             stderr=self.log_file,
---> 76                                             stdin=PIPE)
     77         except TypeError:

~/conda/envs/python/lib/python3.6/subprocess.py in __init__(self, args, bufsize, executable, stdin, stdout, stderr, preexec_fn, close_fds, shell, cwd, env, universal_newlines, startupinfo, creationflags, restore_signals, start_new_session, pass_fds, encoding, errors)
    728                                 errread, errwrite,
--> 729                                 restore_signals, start_new_session)
    730         except:

~/conda/envs/python/lib/python3.6/subprocess.py in _execute_child(self, args, executable, preexec_fn, close_fds, pass_fds, cwd, env, startupinfo, creationflags, shell, p2cread, p2cwrite, c2pread, c2pwrite, errread, errwrite, restore_signals, start_new_session)
   1363                             err_msg += ': ' + repr(err_filename)
-> 1364                     raise child_exception_type(errno_num, err_msg, err_filename)
   1365                 raise child_exception_type(err_msg)

FileNotFoundError: [Errno 2] No such file or directory: '/usr/local/bin/chromedriver': '/usr/local/bin/chromedriver'

During handling of the above exception, another exception occurred:

WebDriverException                        Traceback (most recent call last)
<ipython-input-42-9e1071cc12e0> in <module>
      1 chrome_path = r'/usr/local/bin/chromedriver'
----> 2 driver = webdriver.Chrome(executable_path=chrome_path)

~/conda/envs/python/lib/python3.6/site-packages/selenium/webdriver/chrome/webdriver.py in __init__(self, executable_path, port, options, service_args, desired_capabilities, service_log_path, chrome_options, keep_alive)
     71             service_args=service_args,
     72             log_path=service_log_path)
---> 73         self.service.start()
     74 
     75         try:

~/conda/envs/python/lib/python3.6/site-packages/selenium/webdriver/common/service.py in start(self)
     81                 raise WebDriverException(
     82                     "'%s' executable needs to be in PATH. %s" % (
---> 83                         os.path.basename(self.path), self.start_error_message)
     84                 )
     85             elif err.errno == errno.EACCES:

WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

該当のソースコード

chrome_path = r'/usr/local/bin/chromedriver'
driver = webdriver.Chrome(executable_path=chrome_path)

↓別セルで以下も実行しています。

!pip install selenium
from selenium import webdriver
import chromedriver_binary

試したこと

chromeとインストールしたchromedriverのバージョンが一致している事を確認(87.0.4280.20)
Terminalでは、Seleniumに関してはSuccessfully installed selenium-3.141.0、chromedriverに関してはchromedriver was successfully installed!と表示されており、インストール自体は上手く行っている事を確認。
PATHはこんな感じです↓
/usr/local/bin:/Users/sakikawamura/opt/anaconda3/bin:/Users/sakikawamura/opt/anaconda3/condabin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin

補足情報（FW/ツールのバージョンなど）

MacOS Catalina Ver10.15.3
Python

初学者なのでとにかく調べながら進めているのですが、どうにも詰まってしまって困っています。
何かライブラリのインストールが足りなかったりするのでしょうか。
情報が足りていない事もあるかと思いますが、どなたか助けて頂けると嬉しいです、、、

Comments

[tetsunosuke]

あら、、うまく行かなかったんですね

関連質問として前回の質問を貼っておきます
https://teratail.com/questions/306088

で、!pip という表現からJupyterLabでやっているのかな？と思いました。
https://qiita.com/gabiQ/items/18836611b47d2a1e56c4
こちらの記事で言う
!pip install chromedriver_binary==chromedriverのバージョン
をやったときに、
chromedriver was successfully installed! と出たということでしょうか？

[sakihokusho]

返信遅くなり申し訳ないです、私の環境で、回答で頂いたコードと同じものを実行すると、以下の通りエラーとなります。
!pip install chromedriver_binary=="87.0.4280.20"
については、以下の通りインストール成功が返ってきます。
Successfully built chromedriver-binary
Installing collected packages: chromedriver-binary
Successfully installed chromedriver-binary-87.0.4280.20.0

↓エラー
---------------------------------------------------------------------------
WebDriverException Traceback (most recent call last)
<ipython-input-2-1015524b1205> in <module>
3 from selenium import webdriver
4 import chromedriver_binary
----> 5 driver = webdriver.Chrome()
6 driver.get('https://www.google.com/' class="ansi-blue-fg">)

~/conda/envs/python/lib/python3.6/site-packages/selenium/webdriver/chrome/webdriver.py in __init__(self, executable_path, port, options, service_args, desired_capabilities, service_log_path, chrome_options, keep_alive)
71 service_args=service_args,
72 log_path=service_log_path)
---> 73 self.service.start()
74
75 try:

~/conda/envs/python/lib/python3.6/site-packages/selenium/webdriver/common/service.py in start(self)
96 count = 0
97 while True:
---> 98 self.assert_process_still_running()
99 if self.is_connectable():
100 break

~/conda/envs/python/lib/python3.6/site-packages/selenium/webdriver/common/service.py in assert_process_still_running(self)
109 raise WebDriverException(
110 'Service %s unexpectedly exited. Status code was: %s'
--> 111 % (self.path, return_code)
112 )
113

WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 127

[tetsunosuke]

お、とはいえ、エラーメッセージが変わったようですね。

https://qiita.com/taikomegane/items/58184ea359788ff32147
こちらの記事によれば、chromedriver単体での実行を試すことでエラーの原因がわかりそうでした。

いくつかのchromedriverが入ってしまっている可能性がありますが、参考までに私の環境では下記にありましたので、
~/miniconda3/lib/python3.8/site-packages/chromedriver_binary/chromedriver

sakihokushoさんの環境では
~/conda/envs/python/lib/python3.6/site-packages/chromedriver_binary/chromedriver
の実行を試してみていただけますか

[tetsunosuke]

http://www.signalysis.co.jp/blogs/tech/2020/05/19/200519-2/
他のchromedriverは入ってそうなら一度消したほうが良いかもしれませんが...
別のものを呼び出してしまう可能性も否定できないので
anacondaであれば環境つくり直すのも早いかもですね

[sakihokusho]

すみません、ちょっとこの部分→”sakihokushoさんの環境では
~/conda/envs/python/lib/python3.6/site-packages/chromedriver_binary/chromedriver
の実行を試してみていただけますか”が、理解しきれず、代わりに共有頂いたリンク先(https://qiita.com/taikomegane/items/58184ea359788ff32147)と同様のコードを実施してみましたが、足りていないと思われるライブラリをインストールしようとしたところ、(!apt install libnss3-dev)、以下のようなエラーコードとなりました。
E: Could not open lock file /var/lib/dpkg/lock-frontend - open (13: Permission denied)
E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), are you root?
これを受けて、”!sudo apt-get update”を試しましたが、今度は”/bin/bash: sudo: command not found”とエラーが発生しました。
正直こんなに複雑だとは思っておらず、混乱しています。
もう少し調べて色々試してみようとは思っておりますが、sudoのPATHを通せば、万事解決となるのでしょうか…

[tetsunosuke]

少し誤解させてしまったようですみません

aptのコマンドはUbuntuなどの別のOSの話で、そのままやっても意味はありません今回見てもらいたかったのはあくまでもchromedriverが実行できるのか？という点でした。

> ~/conda/envs/python/lib/python3.6/site-packages/chromedriver_binary/chromedriver
の実行を試してみていただけますか

こちらはMacのターミナルにそのまま貼り付けて実行するか、spotlightやfinderでの検索結果を実行、という意味です。

[sakihokusho]

理解致しました。
ターミナルで”~/conda/envs/python/lib/python3.6/site-packages/chromedriver_binary/chromedriver”を実行したところ、
”zsh: no such file or directory: /Users/sakikawamura/conda/envs/python/lib/python3.6/site-packages/chromedriver_binary/chromedriver”という回答になりました。
chromedriver単独で実行すると、以下の通り返ってきます。
”Starting ChromeDriver 87.0.4280.20 (c99e81631faa0b2a448e658c0dbd8311fb04ddbd-refs/branch-heads/4280@{#355}) on port 9515
Only local connections are allowed.
Please see https://chromedriver.chromium.org/security-considerations for suggestions on keeping ChromeDriver safe.
ChromeDriver was started successfully.”

[tetsunosuke]

なんと。~conda 以下に入っていると思ったのですがそこではなかったですか...
（そのへんになんらかの問題がありそうな気はしますが）

とりあえず単独での実行については問題なさそうですね。
私のchromedriverと全く同じ動作をしています。

となるとそのchromedriverのPATHを
webdriver.Chrome(executable_path=〜)
で通してあげると、意図したものを起動できそうな気がします。
※ ちなみに、他にchromedriverはインストールされていなかったですか？あったらそいつが悪さをしてそうなのですが

やりたいことは全然別のことなのに環境構築で時間がかかっちゃって大変ですが...もうちょっとな気がします。

[sakihokusho]

ありがとうございます、ちょっと数日一旦作業から離れますので、また進捗共有させていただきます。

Answer 1

!pip install selenium
!pip install chromedriver_binary=="87.0.4280.20"
from selenium import webdriver
import chromedriver_binary
driver = webdriver.Chrome()
driver.get('https://www.google.com/')

私の環境ではJupyterLabにて、上記で実行できました。
import chromedriver_binary でパスの指定は特にいらなくなるはずです。

ただし、以下の問題が一度起きました。
https://qiita.com/apukasukabian/items/77832dd42e85ab7aa568