🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

Q&A

1回答

3624閲覧

chrome not reachable のエラーが解決できない

frisk0zisan

総合スコア5

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

0グッド

2クリップ

投稿2019/11/18 05:44

前提・実現したいこと

headless Chrome を用いたgoogle検索結果のスクレイピングを行いたい。
テストとしてURLを出力したい

発生している問題・エラーメッセージ

Traceback (most recent call last): File "headless2.py", line 20, in <module> elem_list = driver.find_elements_by_tag_name("a") File "/home/masaki/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 546, in find_elements_by_tag_name return self.find_elements(by=By.TAG_NAME, value=name) File "/home/masaki/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 1007, in find_elements 'value': value})['value'] or [] File "/home/masaki/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/home/masaki/.local/lib/python3.6/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.WebDriverException: Message: chrome not reachable (Session info: headless chrome=78.0.3904.97)

該当のソースコード

python

1import time 2import traceback 3from selenium import webdriver 4from selenium.webdriver.chrome.options import Options 5import chromedriver_binary 6 7 8options = Options() 9# ヘッドレスモードで実行する 10options.add_argument("--no-sandbox") 11options.add_argument("--headless") 12driver = webdriver.Chrome(options=options) 13driver.implicitly_wait(10) 14 15try: 16 driver.get("https://www.google.co.jp/") 17 # 簡易的にJSが評価されるまで秒数で待つ 18 19 # aタグを抽出 20 elem_list = driver.find_elements_by_tag_name("a") 21 for elem in elem_list: 22 # attributeの中からhrefを抽出して出力 23 url = elem.get_attribute("href") 24 print(url) 25except: 26 traceback.print_exc() 27finally: 28 # エラーが起きても起きなくてもブラウザを閉じる 29 driver.quit()

参考URL https://qiita.com/cl4nny_k/items/096ddae866a4886710e9

試したこと

バージョンを確認して同じバージョンであることは確認しています。
(以下バージョン)
Google Chrome 78.0.3904.97
Session info: headless chrome=78.0.3904.97
selenium 3.141.0

また、chromeのプロセスが溢れかえっているか確かめましたが、そのようなことは起きていませんでした。
参考URL http://www.stockdog.work/entry/2017/08/22/231718

補足情報(FW/ツールのバージョンなど)

windowsストアにあるubuntu上で動かしてます。
ubuntuバージョン Ubuntu 18.04.3 LTS

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

googleはスクレイピングを禁止していますが、
さらに何らかの対策を打たれている可能性もあります。

投稿2019/11/18 06:47

shirai

総合スコア1290

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

jack_kanzaki

2019/12/07 23:13

私も同じ問題に直面しています。 解決方法がわかる方、お願いします。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問