seleniumで504Gateway Timeoutがでる

Question

pythonスクレイピングテストでSeleniumでサーバー上で動かしています。
最初の３、４回目くらいは処理に成功して値をとってこれるのですが、それ以上すると５０４エラーになります。

また何日か後にやると正常に稼働し、その後３，４回後には５０４というループです。

どのような原因が考えられるでしょうか？
ソースコード
・サーバーのスペックはCONOHA VPSの４GBです。
・pythonは2.7

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import csv
from datetime import datetime
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import TimeoutException
import cgi # CGIモジュールのインポート
import time
import cgitb
import sys
import os


print("Content-Type: text/plain;charset=utf-8") #HTMLを出力するために必要
print("") #HTMLを出力するために必要
options = Options()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
driver = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver',options=options)

# 要素が見つかるまで、最大2秒間待機する
driver.implicitly_wait(2)
# ぺージがローディングされるまで最大10秒待つ
driver.set_page_load_timeout(10)

i = 0
while i < 3: # 最大3回実行
  try:
    driver.get('https://google.com?num=100')
    time.sleep(3)

  # while True:
  #   # 標準入力の値を取得
    array_keywords = 'python,test1,test2,test3,test4,test5'

    for kw in array_keywords:

    #   # 入力フォームの値をクリアにする
      driver.find_element_by_name("q").clear()

    #   # 入力フォームの要素を探す
      element = driver.find_element_by_name("q")

    #   # 入力フォームにキーワードを入力する
      element.send_keys(kw)

    #   # フォームを送信する
      element.send_keys(Keys.RETURN)

    #   最大20秒待つ
      WebDriverWait(driver, 20).until(
        EC.title_contains(kw) # titleタグに標準入力したキーワードが含まれるまで
      )
      print(driver.title)

      driver.back()
    else:
      print("ループ終了")

  except TimeoutException as e:
    i = i + 1
    print(i)
    print("例外発生")
    print("type:" + str(type(e)))
    continue

  else:
    break # ループを抜ける
    driver.quit()


else: #３回失敗した場合
  print("３回失敗")
  print("type:" + str(type(e)))
  driver.quit()

Comments

[meg_]

スクレイピングの対象サイトはスクレイピング可能なサイトですか？

Answer 1

まずpython3っぽいコードですがそこは問題ないでしょうか。

出ているエラーを見るにimplicitly_waitが短すぎるのではないかと思います。

import csv
from datetime import datetime
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import TimeoutException
import cgi # CGIモジュールのインポート
from time import sleep
import cgitb
import sys
import os


print("Content-Type: text/plain;charset=utf-8") #HTMLを出力するために必要
print("") #HTMLを出力するために必要
options = Options()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
driver = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver',options=options)

driver.implicitly_wait(20)

for i in ['1', '2', '3']:

    print(i + '回目のチャレンジです')

    try:
        driver.get('https://google.com?num=100')
        sleep(5)

        for kw in 'python,test1,test2,test3,test4,test5'.split(','):
            driver.find_element_by_name("q").clear()
            driver.find_element_by_name("q").send_keys(kw)
            driver.find_elements_by_xpath('//input[@value="Google 検索"]')[-1].click()
            WebDriverWait(driver, 20).until(EC.title_contains(kw))
            print(driver.title)
            driver.back()
        print(i + "回目は6つのキーワード全て正常終了しました")

    except TimeoutException as e:
        print(i + '回目は例外が発生しました')
        print("type:" + str(type(e)))
        continue

driver.quit()

また、googleはスクレイピングを禁止していますので、
何かあった際は自己責任になります。