Stale Element Reference Exception が出てスクレイピングできない

Question

###やりたいこと
１.日付を2桁表示(01,02,...,31)
２.webページを開く
３.クリック場所の定義
４.1日～31日のcsvファイルを取得
###状況
「csvファイルをダウンロードする」のようなボタンをクリックしてデータ取得をしたいのですが、以下のコードを実行しても早速1日目から取得できません。
エラーの意味を調べて、sleep関数を入れてみたのですが改善しませんでした。

###コード

from selenium import webdriver
from time import sleep

#日にちを2桁表示(01,02,...,31)
dates_31 = range(1,32)
date31 = []
for d in dates_31:
    date31.append("{:02d}".format(d))

#webページを開く
browser = webdriver.Chrome('chromedriver.exe')
url = "https:~~~~"
browser.get(url)

#クリック場所の定義
elem_date = browser.find_element_by_id('datepicker')
elem_update_btn = browser.find_element_by_id('btn-display')
elem_csv_btn = browser.find_element_by_id('btndlcsv')

#1日～31日のcsvファイルを取得
for d in date31:
    elem_date.click()
    elem_date.clear()
    sleep(1)
    elem_date.send_keys('2021/08/{}'.format(d))
    sleep(1)
    elem_update_btn.click()
    sleep(3)
    elem_csv_btn.click() #ここでエラー
    sleep(3)

###エラー
StaleElementReferenceException: Message: stale element reference: element is not attached to the page document

Answer 1

「stale」は「古くなった」というような意味です。

１．ページAを表示した
２．そのページの要素を取得して変数に入れた
３．クリックなどでページBに遷移した
という処理をすると、３の時点で２で取得して変数に入れた要素は操作不能状態になります。
これがStale Element Reference＝「古くなった要素を参照した」というエラーです。

それを考慮の上で設計をし直す必要があります。ページ遷移後に要素を取得し直すなど。

Comments

[a18.]

いけました。ありがとうございます！