SeleniumのPythonのforループでのエラー（stale element reference: element is not attached to the page document）

Question

SeleniumのPythonのforループで以下のエラーの回避方法をご教示ください。

hoges = driver.find_elements(By.XPATH, '//*[@id="form1"]/table/tbody/tr')
for hoge in hoges:
    hoge.find_element(By.XPATH, 'td[2]/a').click()
    
    # 処理内容
    
    driver.find_element(By.XPATH, '//*[@id="wrapper"]/div[2]/form/div[3]/input[1]').click() # 前のページに戻る
    time.sleep(2)

1つの目の処理は想定にでき、その後、以下のエラー文が表示されます。

selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document

なお、「hoge.find_element(By.XPATH, 'td[2]/a').click()」のリンク先はPOSTで送信されているため、hrefの値を取得することよって遷移することはできません。

Answer 1

hoges = driver.find_elements(By.XPATH, '//*[@id="form1"]/table/tbody/tr')

等で取得した情報は、ページ遷移をした途端に無効になります。ページを戻っても有効に戻りません。
なので、ページ遷移後に再取得する必要があります。

hogesで取得したものの順序が入れ替わらない前提で、

hoges = driver.find_elements(By.XPATH, '//*[@id="form1"]/table/tbody/tr')
for i in range(len(hoges)):
    hoges = driver.find_elements(By.XPATH, '//*[@id="form1"]/table/tbody/tr')
    hoges[i].find_element(By.XPATH, 'td[2]/a').click()

    # 処理内容

    driver.find_element(By.XPATH, '//*[@id="wrapper"]/div[2]/form/div[3]/input[1]').click() # 前のページに戻る
    time.sleep(2)

入れ替わる可能性があるなら、他と区別できるものをなにか見つけ出す必要があります。

Comments

[michir]

ありがとうございます！
基本的にはうまく行きました！

しかし、途中で止まって、以下のエラーが出ることがあります。

IndexError: list index out of range

原因と回避策はありますでしょうか？

[otn]

hoges = driver.find_elements(By.XPATH, '//*[@id="form1"]/table/tbody/tr')
の個数が変動するんでしょうね。
どういう理由なんでしょうか？変動する条件が分かればそれに対応すれば良いかと。

[otn]

クリックして元ページに戻るんじゃ無くて、JavaScriptで履歴を戻る方法で元のページに戻るとましかも。
動的に生成される場合は同じかも知れませんが。

[michir]

ご確認、ご返信誠にありがとうございます！
サイトの仕様上、履歴を戻る方法では、エラーが生じるようになっております。
また、hogesの個数は変動しないはずです。

対象ページは以下で遷移後のページなのですが、「IndexError: list index out of range」が稀に生じる原因と回避策は分かりますでしょうか？
driver.get("https://www.bengoshikai.jp/")
driver.find_element(By.XPATH, '//*[@id="btn-search"]/a').click()
driver.find_element(By.XPATH, '//*[@id="wrapper"]/div[2]/form/div[5]/input[1]').click()

[otn]

> また、hogesの個数は変動しないはずです。
「はず」は原因調査の時には無意味なので、確認しましょう。

[michir]

すみません、変動しません！
変動しないのに、なぜエラーが生じるのかが分からないので、「はず」と書いてしまいました。
すみませんm(_ _)m

[otn]

では、どこで IndexError: list index out of range なのでしょう？

Answer 2

google翻訳
古い要素の参照：要素がページドキュメントに添付されていません

2つ目以降は存在しないってことなのかな