前提・実現したいこと
headless Chrome を用いたgoogle検索結果のスクレイピングを行いたい。
テストとしてURLを出力したい
発生している問題・エラーメッセージ
Traceback (most recent call last): File "headless2.py", line 20, in <module> elem_list = driver.find_elements_by_tag_name("a") File "/home/masaki/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 546, in find_elements_by_tag_name return self.find_elements(by=By.TAG_NAME, value=name) File "/home/masaki/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 1007, in find_elements 'value': value})['value'] or [] File "/home/masaki/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/home/masaki/.local/lib/python3.6/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.WebDriverException: Message: chrome not reachable (Session info: headless chrome=78.0.3904.97)
該当のソースコード
python
1import time 2import traceback 3from selenium import webdriver 4from selenium.webdriver.chrome.options import Options 5import chromedriver_binary 6 7 8options = Options() 9# ヘッドレスモードで実行する 10options.add_argument("--no-sandbox") 11options.add_argument("--headless") 12driver = webdriver.Chrome(options=options) 13driver.implicitly_wait(10) 14 15try: 16 driver.get("https://www.google.co.jp/") 17 # 簡易的にJSが評価されるまで秒数で待つ 18 19 # aタグを抽出 20 elem_list = driver.find_elements_by_tag_name("a") 21 for elem in elem_list: 22 # attributeの中からhrefを抽出して出力 23 url = elem.get_attribute("href") 24 print(url) 25except: 26 traceback.print_exc() 27finally: 28 # エラーが起きても起きなくてもブラウザを閉じる 29 driver.quit()
参考URL https://qiita.com/cl4nny_k/items/096ddae866a4886710e9
試したこと
バージョンを確認して同じバージョンであることは確認しています。
(以下バージョン)
Google Chrome 78.0.3904.97
Session info: headless chrome=78.0.3904.97
selenium 3.141.0
また、chromeのプロセスが溢れかえっているか確かめましたが、そのようなことは起きていませんでした。
参考URL http://www.stockdog.work/entry/2017/08/22/231718
補足情報(FW/ツールのバージョンなど)
windowsストアにあるubuntu上で動かしてます。
ubuntuバージョン Ubuntu 18.04.3 LTS
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/12/07 23:13