seleniumを使用したスクレイピングのプログラムを書いています。
普通、seleniumを使用したスクレイピングを行う場合は、ページ更新のたびにwait処理を書くのでしょうか?どのように書くのかが一般的かわからないので、意見を聞きたいです。
ちなみにwaitは以下のように行っています。
python
1from selenium.webdriver.support.ui import WebDriverWait 2from selenium.webdriver.support import expected_conditions as EC 3from selenium.webdriver.common.by import By 4 5 6WebDriverWait(driver, WAIT_TIME).until(EC.presence_of_element_located((By.CLASS_NAME, 'hoge')))
都度書くのがスマートじゃない気がするのですが、簡単にページの更新を待つ方法があれば教えていただきたいです。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。