質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.36%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

Q&A

解決済

1回答

28173閲覧

python seleniumでタイムアウトになった時、リトライしたい。

pethagoras

総合スコア13

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

0グッド

2クリップ

投稿2018/08/17 02:57

編集2018/08/18 04:36

前提・実現したいこと

python3
seleniumでスクレイピング中、度々タイムアウトエラーに陥るので
タイムアウトの時にリトライさせたいのですが、
どんなコードを書けばいいのかわかりません。

発生している問題・エラーメッセージ

Traceback (most recent call last):
File "C:/pycharm/kabusyutoku.py", line 21, in <module>
btn.click()
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webelement.py", line 80, in click
self._execute(Command.CLICK_ELEMENT)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webelement.py", line 628, in _execute
return self._parent.execute(command, params)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 320, in execute
self.error_handler.check_response(response)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: timeout
(Session info: chrome=68.0.3440.106)
(Driver info: chromedriver=2.40.565498 (ea082db3280dd6843ebfb08a625e3eb905c4f5ab),platform=Windows NT 6.1.7601 SP1 x86_64)

該当のソースコード

python3

1from selenium import webdriver 2from selenium.webdriver.support.ui import WebDriverWait 3from selenium.webdriver.support import expected_conditions 4from selenium.webdriver.common.by import By 5import time 6 7 8driver = webdriver.Chrome("E:/Users/chromedriver_win32/chromedriver.exe") 9driver.get("https://kabuoji3.com/stock/") 10 11入力画面のURL取得 12cur_url = driver.current_url 13 14for i in range(1598,9999): 15 form = driver.find_element_by_class_name("form_txt") 16 form.send_keys(i) 17 18 検索ボタンクリック 19 time.sleep(0.5) 20 btn = driver.find_element_by_css_selector("#base_box > div > form > button.btn_form.btn_submit") 21 btn.click() 22 23 24 企業名を探す True→銘柄クリック False→次の企業へ 25 meigara = driver.find_elements_by_css_selector("#base_box > div > div.data_contents > div > div > div > table > tbody > tr > td:nth-child(1) > a") 26 if meigara: 27 meigara[0].click() 28 cur_url2 = driver.current_url 29 30 2018年クリック 31 wait = WebDriverWait(driver, 60) 32 wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > ul > li:nth-child(2) > a"))) 33 data = driver.find_element_by_css_selector("#base_box > div > ul > li:nth-child(2) > a") 34 time.sleep(0.5) 35 data.click() 36 ダンロードリンククリック 37 wait = WebDriverWait(driver, 60) 38 wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > div:nth-child(3) > form > button"))) 39 download = driver.find_element_by_css_selector("#base_box > div > div:nth-child(3) > form > button") 40 time.sleep(0.5) 41 download.click() 42 ダウンロード 43 wait = WebDriverWait(driver, 60) 44 wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > div.mt_10.tc > form > button"))) 45 downloader = driver.find_element_by_css_selector("#base_box > div > div.mt_10.tc > form > button") 46 time.sleep(0.5) 47 downloader.click() 48 time.sleep(1) 49 50 画面を戻して2017年をクリック 2017が無い時はスルー 51 driver.implicitly_wait(60) 52 driver.get(cur_url2) 53 data = driver.find_elements_by_css_selector("#base_box > div > ul > li:nth-child(3) > a") 54 if data: 55 data[0].click() 56 57 ダンロードリンククリック 58 wait = WebDriverWait(driver, 60) 59 wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > div:nth-child(3) > form > button"))) 60 download = driver.find_element_by_css_selector("#base_box > div > div:nth-child(3) > form > button") 61 time.sleep(0.5) 62 download.click() 63 #ダウンロード 64 wait = WebDriverWait(driver, 60) 65 wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > div.mt_10.tc > form > button"))) 66 downloader = driver.find_element_by_css_selector("#base_box > div > div.mt_10.tc > form > button") 67 time.sleep(0.5) 68 downloader.click() 69 print(i,"完了") 70 #銘柄入力画面に戻る 71 driver.implicitly_wait(1) 72 driver.get(cur_url) 73 74 else: 75 print(i,"は2017年は無し") 76 driver.implicitly_wait(1) 77 driver.get(cur_url) 78 79 else: 80 wait = WebDriverWait(driver, 10) 81 wait.until(expected_conditions.element_to_be_clickable((By.CLASS_NAME, "form_txt"))) 82 form2 = driver.find_element_by_class_name("form_txt") 83 form2.clear() 84 print(i , "は無し")

試したこと

クリックさせる前に下記の関数で待ち時間を作ってみましたが、タイムアウトエラーは解決しませんでした。
time.sleep

implicitly_wait

wait = WebDriverWait(driver, 10)
wait.until(expected_conditions.element_to_be_clickable((By.CLASS_NAME, "form_txt")))

ご解答お待ちしています。
上記の解決方法、ご教授いただけますようお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

WebDriverWaitTimeoutExceptionが発生するので、TimeoutExceptioncatchしてスリープ後にretryをしてくださいな。

■参考情報


Pythonはインデントが重要な言語です。
質問のソースコード部を以下の画像を参考に編集してくださいな。
コードタグの設定

投稿2018/08/17 04:57

編集2018/08/17 05:01
umyu

総合スコア5846

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

pethagoras

2018/08/18 05:04

ご解答ありがとうございます。ご解答いただいたTimeoutException のエラーを tyr exceptの例外処理させる事で解決しました! ご教授いただきありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問