【スクレイピング】Chrome自動起動できません。

Question

前提・実現したいこと

https://www.youtube.com/watch?v=LgZ8Li97yoM&list=PLavQwENTsEBWylZ9HrWXejSYs4eTjvVm7&index=11
上記YouTube通りにスクレイピングを練習しています。

発生している問題・エラーメッセージ

GoogleChromeを自動実行するために右記コード『browser = webdriver.Chrome()』を入力したら以下メッセージが表示されました。

エラーメッセージ
FileNotFoundError                         Traceback (most recent call last)
~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py in start(self)
     75                                             stderr=self.log_file,
---> 76                                             stdin=PIPE)
     77         except TypeError:

~/anaconda3/lib/python3.7/subprocess.py in __init__(self, args, bufsize, executable, stdin, stdout, stderr, preexec_fn, close_fds, shell, cwd, env, universal_newlines, startupinfo, creationflags, restore_signals, start_new_session, pass_fds, encoding, errors, text)
    774                                 errread, errwrite,
--> 775                                 restore_signals, start_new_session)
    776         except:

~/anaconda3/lib/python3.7/subprocess.py in _execute_child(self, args, executable, preexec_fn, close_fds, pass_fds, cwd, env, startupinfo, creationflags, shell, p2cread, p2cwrite, c2pread, c2pwrite, errread, errwrite, restore_signals, start_new_session)
   1521                             err_msg += ': ' + repr(err_filename)
-> 1522                     raise child_exception_type(errno_num, err_msg, err_filename)
   1523                 raise child_exception_type(err_msg)

FileNotFoundError: [Errno 2] No such file or directory: 'chromedriver': 'chromedriver'

During handling of the above exception, another exception occurred:

WebDriverException                        Traceback (most recent call last)
<ipython-input-15-78b07196e7cd> in <module>
----> 1 browser = webdriver.Chrome()

~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/chrome/webdriver.py in __init__(self, executable_path, port, options, service_args, desired_capabilities, service_log_path, chrome_options, keep_alive)
     71             service_args=service_args,
     72             log_path=service_log_path)
---> 73         self.service.start()
     74 
     75         try:

~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py in start(self)
     81                 raise WebDriverException(
     82                     "'%s' executable needs to be in PATH. %s" % (
---> 83                         os.path.basename(self.path), self.start_error_message)
     84                 )
     85             elif err.errno == errno.EACCES:

WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

該当のソースコード

browser = webdriver.Chrome()

試したこと

ChromeDriverとChromeのバージョンが違うかもしれないため再度ダウンロードしたものの、解決に至りませんでした。
初学者であるため、ネットを調べながら何が原因であるか調べたものの、答えを見つけることができませんでした。また、何が原因なのかを見つけることさえ困難であり、そこを見つけるヒントもご教示をご教示いただけますと幸いでございます。

補足情報（FW/ツールのバージョンなど）

MAC OS
スクレイピング
ChromeDriver
selenium

Answer 1

ドライバーが無いとなってますがバージョン等が間違いでなく本当にインストール出来てるのであれば起動するはずです。
引数にインストールしたパスを入れてみてください。

browser = webdriver.Chrome("ドライバーのパス");

それで起動しなければバージョンの違いだと思います。
一度ドライバーをアンインストールしてどちらも最新のものを入れれば解決すると思います。

Comments

[hungrydays]

回答ありがとうございます。
ドライバーパスを入れても変わらなかったため、再度インストールしました。下記参照。
Successfully installed chromedriver-binary-91.0.4472.19.0
そのうえで、browser = webdriver.Chrome()を実行しましたが以下メッセージが表示されました。
FileNotFoundError Traceback (most recent call last)
~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py in start(self)
75 stderr=self.log_file,
---> 76 stdin=PIPE)
77 except TypeError:

~/anaconda3/lib/python3.7/subprocess.py in __init__(self, args, bufsize, executable, stdin, stdout, stderr, preexec_fn, close_fds, shell, cwd, env, universal_newlines, startupinfo, creationflags, restore_signals, start_new_session, pass_fds, encoding, errors, text)
774 errread, errwrite,
--> 775 restore_signals, start_new_session)
776 except:

~/anaconda3/lib/python3.7/subprocess.py in _execute_child(self, args, executable, preexec_fn, close_fds, pass_fds, cwd, env, startupinfo, creationflags, shell, p2cread, p2cwrite, c2pread, c2pwrite, errread, errwrite, restore_signals, start_new_session)
1521 err_msg += ': ' + repr(err_filename)
-> 1522 raise child_exception_type(errno_num, err_msg, err_filename)
1523 raise child_exception_type(err_msg)

FileNotFoundError: [Errno 2] No such file or directory: 'chromedriver': 'chromedriver'

During handling of the above exception, another exception occurred:

WebDriverException Traceback (most recent call last)
<ipython-input-25-78b07196e7cd> in <module>
----> 1 browser = webdriver.Chrome()

~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/chrome/webdriver.py in __init__(self, executable_path, port, options, service_args, desired_capabilities, service_log_path, chrome_options, keep_alive)
71 service_args=service_args,
72 log_path=service_log_path)
---> 73 self.service.start()
74
75 try:

~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py in start(self)
81 raise WebDriverException(
82 "'%s' executable needs to be in PATH. %s" % (
---> 83 os.path.basename(self.path), self.start_error_message)
84 )
85 elif err.errno == errno.EACCES:

WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

[tmsw]

先ほどから一貫して変わってないのがドライバーが無いと言う所なので、パスが間違ってるかバージョンの違いだとは思いますが91.0.4472.19.0のドライバーはインストールが出来ているとも出ていますね。
クロームのバージョン教えて頂けますか？

[hungrydays]

すみません。
先程、再度右記内容browser = webdriver.Chrome(/usr/local/bin/chromedriver)を実行したところ、以下のメッセージが返ってきました。
File "<ipython-input-31-ee461094a0aa>", line 1
browser = webdriver.Chrome(/usr/local/bin/chromedriver)
^
SyntaxError: invalid syntax

[hungrydays]

バージョン: 91.0.4472.77（Official Build） （x86_64）
バージョンは上記のとおりです。

[tmsw]

>browser = webdriver.Chrome(/usr/local/bin/chromedriver)
>^
>SyntaxError: invalid syntax

シンタックスエラー（構文エラー）が出てますね。

正しくはbrowser = webdriver.Chrome('/usr/local/bin/chromedriver')

です。（シングルクオーテーションがあるかないか)
これでどうでしょう？

[hungrydays]

回答内容をコピペし、実行したところ、再度同様のメッセージが表示されました。。。
FileNotFoundError Traceback (most recent call last)
~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py in start(self)
75 stderr=self.log_file,
---> 76 stdin=PIPE)
77 except TypeError:

~/anaconda3/lib/python3.7/subprocess.py in __init__(self, args, bufsize, executable, stdin, stdout, stderr, preexec_fn, close_fds, shell, cwd, env, universal_newlines, startupinfo, creationflags, restore_signals, start_new_session, pass_fds, encoding, errors, text)
774 errread, errwrite,
--> 775 restore_signals, start_new_session)
776 except:

~/anaconda3/lib/python3.7/subprocess.py in _execute_child(self, args, executable, preexec_fn, close_fds, pass_fds, cwd, env, startupinfo, creationflags, shell, p2cread, p2cwrite, c2pread, c2pwrite, errread, errwrite, restore_signals, start_new_session)
1521 err_msg += ': ' + repr(err_filename)
-> 1522 raise child_exception_type(errno_num, err_msg, err_filename)
1523 raise child_exception_type(err_msg)

FileNotFoundError: [Errno 2] No such file or directory: '/usr/local/bin/chromedriver': '/usr/local/bin/chromedriver'

During handling of the above exception, another exception occurred:

WebDriverException Traceback (most recent call last)
<ipython-input-32-0721f6984733> in <module>
----> 1 browser = webdriver.Chrome('/usr/local/bin/chromedriver')

~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/chrome/webdriver.py in __init__(self, executable_path, port, options, service_args, desired_capabilities, service_log_path, chrome_options, keep_alive)
71 service_args=service_args,
72 log_path=service_log_path)
---> 73 self.service.start()
74
75 try:

~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py in start(self)
81 raise WebDriverException(
82 "'%s' executable needs to be in PATH. %s" % (
---> 83 os.path.basename(self.path), self.start_error_message)
84 )
85 elif err.errno == errno.EACCES:

WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

Answer 2

WebDriverException: Message: 'chromedriver' executable needs to be in PATH.

と、表示されているとおり、PATHが通っている中にchromedriverが無い（言い換えれば、chromedriverの場所がPATHに設定されていない）ということですね、たぶん。

もしPATH設定がわからなければこちらで学んでください
読めばわかるMACでのPATH設定を完全理解 | アールエフェクト

Comments

[hungrydays]

初学者の身かつ、ネットで調べたもののわからなかったためご教示をいただけないでしょうか。
driverは再度インストールしたのですが、MACはどこにdriverが保存されるのでしょうか？
ターミナルでインストールしたらどこに保存されるのか確認する術が自身ではかわりませんでした。
すみません。。

[itagagaki]

私はMac OSは使っていないのでわからないのですが、

【MacOSX】ChromeDriverのインストール - 学生向けプログラミング入門 https://mrradiology.hatenablog.jp/entry/2020/08/07/151321

を見てみると、少なくともこの手順でインストールすれば、ターミナルから
chromedriver -v
を打てば起動が確認できるようなので、特にPATHを設定する等の必要はなさそうです。

上記のページで手順を確認してみてください。

[hungrydays]

手順通り実施すると、実行『brew cask install chromedriver』した際にこのような実行結果となりました。
Warning: Cask 'chromedriver' is already installed.

To re-install chromedriver, run:
brew reinstall chromedriver
Warning: cask 0.8.7 is already installed and up-to-date.
To reinstall 0.8.7, run:
brew reinstall cask

[hungrydays]

また、一応『chrome driver -v』を実行すると、以下実行結果となりました。
ChromeDriver 90.0.4430.24 (4c6d850f087da467d926e8eddb76550aed655991-refs/branch-heads/4430@{#429})

[itagagaki]

ターミナルから chromedriver -v を打って確認してみましたか？

[itagagaki]

あ、入れ違いでしたね。

[hungrydays]

はい、ターミナルから実行しました。。。

[itagagaki]

tmswさんとのやり取りも読みました。
chromedriverがインストールされている場所は /usr/local/bin ではなさそうですね。
ターミナルから
type chromedriver
と打ってみてください。chromedriverのフルパスが表示されると思います。
で、browser = webdriver.Chrome('そのフルパス') ;
で行けそうな気がします。

[hungrydays]

再度driverをインストールしたら修復できるかもと思い、『brew reinstall cask chromedriver』を実行しました。すると、以下の実行結果となりました。
==> Purging files for version 90.0.4430.24 of Cask chromedriver
==> Installing Cask chromedriver
==> Linking Binary 'chromedriver' to '/usr/local/bin/chromedriver'
???? chromedriver was successfully installed!

現在GoogleChromeのver.はバージョン: 91.0.4472.77（Official Build） （x86_64ですが、同様のver.ではないように思います。再インストールしてもver.に相違がある場合、どのようにver.を同じにすればよいでしょうか？
質問ばかりですみません。よろしくお願いいたします。

[hungrydays]

フルパスは表示されました。そのため、browser = webdriver.Chrome('/usr/local/bin/chromedriver');で実行したところ、また同様のエラーとなりました。。。
FileNotFoundError Traceback (most recent call last)
~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py in start(self)
75 stderr=self.log_file,
---> 76 stdin=PIPE)
77 except TypeError:

~/anaconda3/lib/python3.7/subprocess.py in __init__(self, args, bufsize, executable, stdin, stdout, stderr, preexec_fn, close_fds, shell, cwd, env, universal_newlines, startupinfo, creationflags, restore_signals, start_new_session, pass_fds, encoding, errors, text)
774 errread, errwrite,
--> 775 restore_signals, start_new_session)
776 except:

~/anaconda3/lib/python3.7/subprocess.py in _execute_child(self, args, executable, preexec_fn, close_fds, pass_fds, cwd, env, startupinfo, creationflags, shell, p2cread, p2cwrite, c2pread, c2pwrite, errread, errwrite, restore_signals, start_new_session)
1521 err_msg += ': ' + repr(err_filename)
-> 1522 raise child_exception_type(errno_num, err_msg, err_filename)
1523 raise child_exception_type(err_msg)

FileNotFoundError: [Errno 2] No such file or directory: '/usr/local/bin/chromedriver': '/usr/local/bin/chromedriver'

During handling of the above exception, another exception occurred:

WebDriverException Traceback (most recent call last)
<ipython-input-33-a45345cfdce0> in <module>
----> 1 browser = webdriver.Chrome('/usr/local/bin/chromedriver');

~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/chrome/webdriver.py in __init__(self, executable_path, port, options, service_args, desired_capabilities, service_log_path, chrome_options, keep_alive)
71 service_args=service_args,
72 log_path=service_log_path)
---> 73 self.service.start()
74
75 try:

~/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py in start(self)
81 raise WebDriverException(
82 "'%s' executable needs to be in PATH. %s" % (
---> 83 os.path.basename(self.path), self.start_error_message)
84 )
85 elif err.errno == errno.EACCES:

WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

[itagagaki]

type chromedriver
では /usr/local/bin/chromedriver と出たんですね？

[itagagaki]

バージョンの相違ならそういうエラーメッセージが出るような気がするので、私はまだパスを疑っていますが…現に表示されているエラーがそう言っているので。

でもバージョンは揃えるに越したことはなさそうなので、下記を参考にしてください。

ChromeとChromedriverのバージョンを揃える https://zenn.dev/shalo/articles/37d6709fb99c1713d11b

Chromeは91とのことなので、

ChromeDriver - WebDriver for Chrome - Downloads https://chromedriver.chromium.org/downloads

から ChromeDriver 91.0.4472.19 をダウンロードするのが良さそうですね。

[hungrydays]

はい、そのように表示されました。

[itagagaki]

==> Linking Binary 'chromedriver' to '/usr/local/bin/chromedriver'
って出てましたね…。

まあ、まずは再度 ChromeDriver 91 のインストールですね。
で、インストールできたら、ターミナルで
chromedriver -v
で
ChromeDriver 91...
と表示されるのを確認してください。

[hungrydays]

インストールは完了したと思うのですが、chromedriver.execを起動するとターミナルが起動し、Starting ChromeDriver 91.0.4472.19 (1bf021f248676a0b2ab3ee0561d83a59e424c23e-refs/branch-heads/4472@{#288}) on port 9515（一部抜粋）と表示されます。
このchromedriver.execはどこに保存しておけばよいのでしょうか？
また、別のターミナルでchromedriver -vを実行すると、ChromeDriver 90.0.4430.24 (4c6d850f087da467d926e8eddb76550aed655991-refs/branch-heads/4430@{#429})と表示され、古いchromedriverのver.になります。。。

[itagagaki]

ターミナルで chromedriver -v を実行し、ChromeDriver 90 と表示されたら、そのまま type chromedriver を実行して その ChromeDriver 90 の場所を調べ、それを削除しちゃいましょう。

たとえば /usr/local/bin/chromedriver と表示されたのなら、
sudo rm -f /usr/local/bin/chromedriver

で、その後ターミナルで
hash -r
した後、あらためて chromedriver -v を実行し、ChromeDrive 91 が起動することを確認します。
もし起動しなかったら、もう一度インストールしてください。

[hungrydays]

ありがとうございます！chromedriver91と表示されました。
しかし、このようなエラーが表示されました。調べると、別のなにかをインストールしないといけないようなのですが。。。
WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 127

[itagagaki]

ググってみると、まず crhimedriver 単体で（オプションも指定なしで）起動してみると何かわかりそうですね。

[hungrydays]

ターミナルで起動すると以下表示されました。
Starting ChromeDriver 91.0.4472.19 (1bf021f248676a0b2ab3ee0561d83a59e424c23e-refs/branch-heads/4472@{#288}) on port 9515
Only local connections are allowed.
Please see https://chromedriver.chromium.org/security-considerations for suggestions on keeping ChromeDriver safe.
ChromeDriver was started successfully.

[itagagaki]

あれ？ successfully って言ってるので、もしかして browser = webdriver.Chrome("ドライバーのパス") できるようになったんじゃないです？

[hungrydays]

Dockerでジュピターラボを使用し、以下入力しています。
[1]!pip install selenium
[2]!pip install beautifulsoup4
[3]from selenium import webdriver
import time
import pandas as pd
import os
import datetime
[4]!pip install chromedriver_binary
[5]import chromedriver_binary
[6]USER = "test_user"
PASS = "test_pw"
[7]browser = webdriver.Chrome("/usr/local/bin/chromedriver")
すると、最後にWebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home
このようなメッセージが表示されます。

[itagagaki]

ターミナルから起動できるようになった 91 の場所は /usr/local/bin/chromedriver ですか？
消した 90 が /usr/local/bin/chromedriver ではなかったです？
それとも、あらためてインストールした chromedriver 91 が /usr/local/bin に入ったのかな？
念のため、またターミナルから
type chromedriver
して場所を確認してください。

[hungrydays]

type chromedriverと入力すると、以下表示されました。
chromedriver is /usr/local/bin/chromedriver
また、念の為ChromeDriver -vと入力し、以下表示されます。
ChromeDriver 91.0.4472.19 (1bf021f248676a0b2ab3ee0561d83a59e424c23e-refs/branch-heads/4472@{#288})

[itagagaki]

ちょっとググってみました。
ジュピターラボで
!pip install chromedriver_binary
のところを
!pip install chromedriver-binary-auto
に変えて試してみてください。

で、
browser = webdriver.Chrome()
browser.get("https://www.google.com/")
と、パス指定なしでいけるらしいです。

[hungrydays]

!pip install chromedriver-binary-autoを入力し、インストール完了しました。
しかし、browser = webdriver.Chrome()
browser.get("https://www.google.com/")を入力すると、また以下表示されます。
WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 127

[itagagaki]

またターミナルで chromedriver と打って単体で実行するとどうなります？

[hungrydays]

変わらず以下表示されます。
Starting ChromeDriver 91.0.4472.19 (1bf021f248676a0b2ab3ee0561d83a59e424c23e-refs/branch-heads/4472@{#288}) on port 9515
Only local connections are allowed.
Please see https://chromedriver.chromium.org/security-considerations for suggestions on keeping ChromeDriver safe.
ChromeDriver was started successfully.

[hungrydays]

dockerを使用していることが影響していますでしょうか・・・

[itagagaki]

そこで、ジュピターラボで
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import chromedriver_binary
USER = "test_user"
PASS = "test_pw"
browser = webdriver.Chrome()
browser.get("https://www.google.com/")
成功しないですかね…？

[hungrydays]

やはり変わらずです。。。
WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 127

[hungrydays]

ジュピターラボで実行したものは以下の通りです。
!pip install selenium
!pip install beautifulsoup4
!pip install chromedriver_binary-auto
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import chromedriver_binary
USER = "test_user"
PASS = "test_pw"
browser = webdriver.Chrome()
browser.get("https://www.google.com/")

[itagagaki]

そうですか…

browser = webdriver.Chrome()
までは成功するようになったわけですよね。
で、
browser.get("https://www.google.com/")
がエラーになると。

!pip install の部分は、インストールはもう済んでいるので、今後は不要なのかなと思います。
インストールを実行しちゃったら、またターミナルで chromedriver を一度実行しないといけないのかも。
ターミナルで chromedriver と打ち、その後ジュピターラボで from以降をやり直してみてください。

[hungrydays]

言葉足らずで申し訳ございません。
エラーになるのはbrowser = webdriver.Chrome()からなのです。
今回も同様に以下表示されました。。。
WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 127

[itagagaki]

libglib2などが足りていないんですかね。
私はMac OSはわからないのでインストールのしかたはわからないのですが、インストールには何を使うんですか？ apt-get とかではないんですかね？
まずは libglib2 を探してインストールしてみましょう。

[hungrydays]

承知いたしました。
apt-get libglib2と実行すると、以下表示されました。
こちらはどういった意味合いのメッセージでしょうか。
Please visit http://www.java.com for information on installing Java.

[itagagaki]

Mac OS では brew とかいうのを使うのかなと思ったのですが、apt-get もいけるんですかね。
ターミナルで
sudo apt-get install gconf-service \
libasound2 libatk1.0-0 libc6 libcairo2 \
libcups2 libdbus-1-3 libexpat1 libfontconfig1 \
libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 \
libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 \
libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 \
libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 \
libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates \
fonts-liberation libappindicator1 libnss3 lsb-release \
xdg-utils wget
やってみてください。

[hungrydays]

sudo apt-get install gconf-service \
Password:
Sorry, try again.
Password:
sudo: apt-get: command not found

そのままコピペするとこのようなエラーが返ってきました。

[itagagaki]

では１行で

sudo apt-get install gconf-service libasound2 libatk1.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget

管理者パスワードはもちろん打てますよね？

[hungrydays]

はい、打てます。
しかしながら、以下表示されました。。。
sudo: apt-get: command not found

[hungrydays]

glibというものをターミナルからインストールすればよいのでしょうか？
一度Home brewでbrew install glibを実行すると、インストールが始まりました。

[itagagaki]

あれ、やっぱり apt-get じゃないんですね。brew なのかな。

上記の apt-get install の後ろの各パッケージをそれぞれインストールしちゃいたいわけなんですけど、
brew ではどういうパッケージ名で指定したらいいのか定かでないので、上記の各パッケージ名のそれぞれについて、たとえば

brew search sound

のようにして探して、それらしいのが出てきたら（たとえば libasound2 だったら）

brew install libasound2

でインストールする、というのを、各パッケージについてやってみてください。
ちょっと数がありますけど、ちまちま試すより、必要そうなもの全部入れちゃったほうがいいと思いますので。

[itagagaki]

ああ、入れ違いですね。そうです。その調子でやってみてください。

[hungrydays]

承知いたしました。
現在実施している最中ですが、以下のパッケージはエラーとなりました。
とりあえずインストールできるのがあればひたすらインストールするかたちでいいでしょうか。
brew install libcups2
==> Searching for similarly named formulae...
Error: No similarly named formulae found.
Error: No available formula or cask with the name "libcups2".
==> Searching for a previously deleted formula (in the last month)...
Error: No previously deleted formula found.
==> Searching taps on GitHub...
Error: No formulae found in taps.

[itagagaki]

そうですね。やるだけやってみましょう。私にはもう他のアドバイスは思いつきませんし。

[hungrydays]

インストールしていっているのですが、search lib と検索すると100個以上でてくるため、全部インストールすべきなのか迷います。。。

[itagagaki]

先日ご案内した
gconf-service
libasound2
libatk1.0-0
libc6
libcairo2
libcups2
libdbus-1-3
libexpat1
libfontconfig1
libgcc1
libgconf-2-4
libgdk-pixbuf2.0-0
libglib2.0-0
libgtk-3-0
libnspr4
libpango-1.0-0
libpangocairo-1.0-0
libstdc++6
libx11-6
libx11-xcb1
libxcb1
libxcomposite1
libxcursor1
libxdamage1
libxext6
libxfixes3
libxi6
libxrandr2
libxrender1
libxss1
libxtst6
ca-certificates
fonts-liberation
libappindicator1
libnss3
lsb-release
だけ入れてみたらよいと思います。これはapt-getのパッケージ名なので、brewでは微妙に名前や数字が違うかと思いますが、それっぽいのを探して入れてみてください。
私も同じ環境で試してみれるといいのですが、できないので、不確かなアドバイスですみません。

[hungrydays]

アドバイスいただきありがとうございます。
ちなみにインストールしたあとはなにか設定をしないといけないなどありますでしょうか。

[itagagaki]

ライブラリなので、インストールできたら、特に何もする必要はないと思います。
でも一応おまじないでリブートしておきましょうか。
そしてJupyter Labで
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import chromedriver_binary
USER = "test_user"
PASS = "test_pw"
browser = webdriver.Chrome()
browser.get("https://www.google.com/")
を試してみてください。

[hungrydays]

上から一つづつ実行していくと、
browser = webdriver.Chrome()を実行すると以下メッセージ。
WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 127

browser.get("https://www.google.com/")を実行すると以下メッセージが表示されました。
NameError: name 'browser' is not defined

また、現在の環境はmacOSでDockerを使用しているのですが、そもそもchromedriverはLinuxのバージョンをダウンロードしないといけないのでしょうか？

[itagagaki]

あー、もしかしてMacOS版を入れていました？DockerでUbuntuとかのLinuxを使っているんですよね？ならそもそもLinux版じゃないとダメです。

だけど、なぜDockerなのでしょう？DockerでLinuxを使わずとも、MacOSでもselenium+chrome+chromedriver+python環境は作れるのではないかと思うのですが。

[hungrydays]

はい、MacOS版を入れていました。。。
色々調べるとDockerを使ったほうがいいのかと思い設定していました。。。
ちなみにDockerを使っていますでしょうか？

[itagagaki]

私はMacOSもDockerも使っていません。
まあMacOSネイティブでの環境構築もできると思いますが、Dockerでやると決めたのなら、Dockerでの環境構築のやり直しですね。

いろいろ調べてはじめられたのだと思いますが、一応念のため：
Docker上でSeleniumとHeadless ChromeとPython3を動かす - Qiita https://qiita.com/sikkim/items/447b72e6ec45849058cd

[hungrydays]

ありがとうございます。
mac版とLinux版のdriverを両方インストールしていても問題ないでしょうか。

[itagagaki]

mac版はアンインストールできるならしておいたほうが良さそうな気がします。使わないのでしょうし。

[hungrydays]

そうですね。ちなみにアンインストール方法はゴミ箱に入れるだけではいけないですよね？

[itagagaki]

pip install <package> の逆で、pip uninstall <package> です。

[hungrydays]

ありがとうございます。
上記の内容で実行すると、WARNING: Skipping chromedriver as it is not installed.と表示されました。
アンインストール出来ているということでしょうか。
ちなみに、念の為ChromeDriver -vと入力すると、ChromeDriver 91.0.4472.19 (1bf021f248676a0b2ab3ee0561d83a59e424c23e-refs/branch-heads/4472@{#288})と表示されます。まだ残っているということでしょうか。。。

[hungrydays]

すみません、brew uninstall ChromeDriver で実行すると、再度ChromeDriver -vと実行すると No such file or directoryと表示されました。おそらくアンインストールできていると思います。

[hungrydays]

そもそもですが、Dockerで動作させる場合、chromedriverをインストールすることはもちろんですが、Google chromeもインストールしないといけないでしょうか。
PC本体にはもちろんインストールしているのですが。

[itagagaki]

イメージとしては、Dockerの中は別のPC（Linux）と考えてください。なのでDockerで動いているLinux上で、ChromeもLinux用をインストールしてください。

[hungrydays]

ありがとうございます。ちなみに、インストールはジャスパーラボからコマンドを入力してインストールするのでしょうか。

[itagagaki]

Dockerで動いているLinuxはCent-OSですかね？それともUbuntuとかですかね？
Cent-OSならこちらのページどおりにすれば良いかと思います。
https://qiita.com/mindwood/items/245adeb6da18999bbfc4

[hungrydays]

docker fileの中身にFROM ubuntu:latestと記載があるので、おそらくUbuntuだと思います。

[itagagaki]

念のためコンソールで cat /etc/issue して確認してみてください。
Ubuntuならこちらのページが参考になるかと思います。
https://www.mt-megami.com/article/ubuntu-python3-selenium-googlechrome-scraping

[hungrydays]

調べたうえでの質問なのですが、ターミナルでcat /etc/issueを実行するということでしょうか。
cat: /etc/issue: No such file or directoryと表示されます。。。

[hungrydays]

docker run ubuntu cat /etc/issueを実行してみたところ、以下表示されました。
Unable to find image 'ubuntu:latest' locally
latest: Pulling from library/ubuntu
c549ccf8d472: Pull complete
Digest: sha256:aba80b77e27148d99c034a987e7da3a287ed455390352663418c0f2ed40417fe
Status: Downloaded newer image for ubuntu:latest
Ubuntu 20.04.2 LTS \n \l
これは、バージョンが確認できたということでしょうか？

[itagagaki]

ああ、そうですね。最後の行にUbuntu 20.04.2 LTS つまりUbuntuですね。

[hungrydays]

https://www.mt-megami.com/article/ubuntu-python3-selenium-googlechrome-scraping

ご紹介いただいたサイトを参考に、Chromeをダウンロードすべくコマンドを実行しているのですが、ダウンロードできません。
以下、ターミナルでの実行結果

cd /tmp
⇒　特に何も表示されず

wget https://dl.google.com/linux/linux_signing_key.pub
⇒　--2021-06-19 17:38:07-- https://dl.google.com/linux/linux_signing_key.pub
dl.google.com (dl.google.com) をDNSに問いあわせています... 2404:6800:4004:80a::200e, 172.217.175.78
dl.google.com (dl.google.com)|2404:6800:4004:80a::200e|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 10218 (10.0K) [application/octet-stream]
`linux_signing_key.pub.2' に保存中

linux_signing_key.p 100%[===================>] 9.98K --.-KB/s 時間 0.001s

2021-06-19 17:38:07 (15.9 MB/s) - `linux_signing_key.pub.2' へ保存完了 [10218/10218]

sudo apt-key add linux_signing_key.pub
⇒　sudo: apt-key: command not found

echo 'deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main' | sudo tee /etc/apt/sources.list.d/google-chrome.list
⇒　tee: /etc/apt/sources.list.d/google-chrome.list: No such file or directory
deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main

sudo apt-get update
⇒　sudo: apt-get: command not found

sudo apt -f install -y
⇒　The operation couldn’t be completed. Unable to locate a Java Runtime that supports apt.
Please visit http://www.java.com for information on installing Java.

sudo apt-get install google-chrome-stable
⇒　sudo: apt-get: command not found

[itagagaki]

Ubuntuならaptは入ってるはず…おかしいですね

これはDockerでのUbuntu環境構築からやり直しですかね？
下記ページを参考にトライしてみてください。

[MacでDockerを使ってubuntu環境を構築する - Qiita](https://qiita.com/yasuoka_dev/items/073f7e8c7dba75993323)

[hungrydays]

返信ありがとうございます。。。
そうですね、再構築してみます！結果、またご報告させていただきます。