質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.77%

chromeDriverを使ってスクレイピングするとクラッシュする

解決済

回答 2

投稿

  • 評価
  • クリップ 1
  • VIEW 3,275

nezuko

score 12

前提・実現したいこと

python+seleniumを使って、GoogleとYahooのPCとスマホそれぞれで検索し、検索結果のソースを取得&画面全体のキャプチャを撮りたいと思っています。

発生している問題・エラーメッセージ

毎回というわけではないのですが、

<class 'selenium.common.exceptions.WebDriverException'>
unknown error: session deleted because of page crash from unknown error: cannot determine loading status from tab crashed


となってしまいます。
chrome.logを見たところ、キャプチャを撮るところでエラーになっているようでした。
つい最近まではエラーもなくスムーズに動いていたのですが、エラー発生時と共に処理も遅くなったような気がします。

該当のソースコード

googlePc

# coding: UTF-8
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.keys import Keys

import subprocess
import sys
import time
args = sys.argv

searchWord = args[1]
fileName = args[2]

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')    
options.add_argument('--enable-logging')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36')
driver = webdriver.Chrome(executable_path="/usr/local/bin/chromedriver",service_args=["--verbose", "--log-path=/tmp/chrome.log"],chrome_options=options)
driver.set_window_size(1024, 768)

try:
    driver.get('https://www.google.co.jp/')
    driver.find_element_by_name("q").send_keys(searchWord.decode('utf-8'))
    element = driver.find_element_by_name("q")    
    element.send_keys(Keys.ENTER)  

    # ページのウィンドウサイズ取得 設定
    width = driver.execute_script("return document.body.scrollWidth;")
    height = driver.execute_script("return document.body.scrollHeight;")   
    driver.set_window_size(width, height) 

    # ソース取得
    source = driver.page_source
    file = open("/tmp/temp_google_pc.txt", "w")
    file.write(source.encode('utf-8'))
    file.close()

    # キャプチャ
    time.sleep(3)
    driver.save_screenshot(fileName)

    driver.quit()

except Exception as e:
    print('type:' + str(type(e)))
    print(str(e))
    driver.quit()

googleSp

# coding: UTF-8
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

import subprocess
import sys
import time
args = sys.argv

searchWord = args[1]
fileName = args[2]

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')  
options.add_argument('--enable-logging')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--user-agent=Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1')
driver = webdriver.Chrome(executable_path="/usr/local/bin/chromedriver",service_args=["--verbose", "--log-path=/tmp/chrome.log"],chrome_options=options)
driver.set_window_size(652,375)

try:
    driver.get('https://www.google.co.jp/')   
    driver.execute_script("document.getElementsByName('q')[0].value = '" + searchWord + "'")
    elem_search_btn = driver.find_element_by_class_name("Tg7LZd")
    elem_search_btn.click() 

    # ページのウィンドウサイズ取得 設定
    width = driver.execute_script("return document.body.scrollWidth;")
    height = driver.execute_script("return document.body.scrollHeight;")
    driver.set_window_size(width, height)     

    source = driver.page_source
    file = open("/tmp/temp_google_sp.txt", "w")
    file.write(source.encode('utf-8'))
    file.close()   

    time.sleep(3) 
    driver.save_screenshot(fileName)
    driver.quit()

except Exception as e:
    print('type:' + str(type(e)))
    print(str(e))
    driver.quit()

yahooPc

# coding: UTF-8
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.common.by import By

import subprocess
import sys
import time
args = sys.argv

searchWord = args[1]
fileName = args[2]

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')  
options.add_argument('--enable-logging')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36')
driver = webdriver.Chrome(executable_path="/usr/local/bin/chromedriver",service_args=["--verbose", "--log-path=/tmp/chrome.log"],chrome_options=options)
driver.set_window_size(1024, 768)

try:
    driver.get('https://www.yahoo.co.jp/')
    driver.execute_script("document.getElementById('srchtxt').value = '" + searchWord + "'")
    elem_search_btn = driver.find_element_by_id("srchbtn")
    elem_search_btn.click()

    # ページのウィンドウサイズ取得 設定
    width = driver.execute_script("return document.body.scrollWidth;")
    height = driver.execute_script("return document.body.scrollHeight;")
    driver.set_window_size(width, height)

    # ページのソース取得
    source = driver.page_source
    file = open("/tmp/temp_yahoo_pc.txt", "w")
    file.write(driver.page_source.encode('utf-8'))
    file.close()

    time.sleep(3)    
    driver.save_screenshot(fileName)
    driver.quit()

except Exception as e:
    print('type:' + str(type(e)))
    print(str(e))

    driver.quit()

yahooSp

# coding: UTF-8
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

import subprocess
import sys
import time
args = sys.argv

searchWord = args[1]
fileName = args[2]

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')  
options.add_argument('--enable-logging')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--user-agent=Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1')
driver = webdriver.Chrome(executable_path="/usr/local/bin/chromedriver",service_args=["--verbose", "--log-path=/tmp/chrome.log"],chrome_options=options)
driver.set_window_size(667,375)

try:
    driver.get('https://search.yahoo.co.jp/')
    driver.execute_script("document.getElementsByName('p')[0].value = '" + searchWord + "'")
    elem_search_btn = driver.find_element_by_id("SbSbmtBtn")
    elem_search_btn.click()

    # ページのウィンドウサイズ取得 設定
    width = driver.execute_script("return document.body.scrollWidth;")
    height = driver.execute_script("return document.body.scrollHeight;")
    driver.set_window_size(width, height) 

    source = driver.page_source
    file = open("/tmp/temp_yahoo_sp.txt", "w")
    file.write(driver.page_source.encode('utf-8'))
    file.close()

    time.sleep(3)     
    driver.save_screenshot(fileName)
    driver.quit()
except Exception as e:
    print('type:' + str(type(e)))
    print(str(e))

    driver.quit()

試したこと

  • chromeとchromeDriverを最新バージョンにアップグレード
    →変化なし

  •  driver.save_screenshotの前にtime.sleepを入れてみる
    →変化なし(ちなみに5秒でもダメでした)

  • chrome_options.add_argument('--disable-dev-shm-usage') を入れてみる
    →変化なし

  • 以下を実行してみる  →変化なし

sudo mount -t tmpfs -o rw,nosuid,nodev,noexec,relatime,size=512M tmpfs /dev/shm

(参考)unknown error: session deleted because of page crash from unknown error: cannot determine loading status from tab crashed with ChromeDriver Selenium

  • 毎回pkill chromeでタスクマネージャーからchromedriverのプロセスを閉じる
    →変化なし

補足情報(FW/ツールのバージョンなど)

Google Chrome 74.0.3729.131
ChromeDriver 74.0.3729.6
Python 2.7.12

完全お手上げ状態です。
どうぞよろしくお願い致します。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

check解決した方法

+1

topコマンドでload averageを見てみたところ、クラッシュするときには7~8まで跳ね上がっていたためサーバ側の問題みたいでした。お騒がせ致しました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

同様の問題が報告されています。
最新バージョンが必ずしもいいとは限りません。
私も昔、chromedriverの色んなバージョンを試した記憶があります(10通りぐらい)
issue

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.77%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る