【python】seleniumを用いたスクレイピングでの、エラー(StaleElementReferenceException)について

Question

エラーメッセージ

StaleElementReferenceException: Message: stale element reference: stale element not found

調べてみても、この"stale element not found"というエラーへの対処法が見つからず、いろいろ試してみたのですが、改善されずに困っています。

実現したいこと

<div class="class"> #選択項目のボックス。ここをクリックすることで項目リストを表示 <select id="id" name="name" class="class1 class2 class3"> <option value>aaa</otpion> <option value="value1">bbb</otpion> <option value="value2">ccc</otpion> <option value="value3">ddd</otpion> </select> </div>

上記のものが、ウェブページのコードの一部分を抜粋したものになります。実際のページ上では、ボックスをクリックすることで選択可能なリストが表示され、そこから自分が指定したい項目を選ぶものです。
スクレイピングの際に、この項目を自由に指定してデータを拾ってきたいと考えています。

試したこと

from selenium import webdriver
from selenium.webdriver.support.ui import Select

driver = webdriver.Chrome("C:******")
URL = "https://******"
driver.get(URL)

driver.find_element_by_xpath("xpath1").click()
driver.find_element_by_xpath("xpath2").send_keys("id")
driver.find_element_by_xpath("xpath3").send_keys("password")
driver.find_element_by_xpath("xpath4").click()

#以下がエラー箇所になります。
#1つ目(調べた結果、もっとも一般的そうな方法だと思われます)
element=driver.find_element_by_name("name")
select = Select(element)
select.select_by_index(n) #indexでもvalueでもtextでも試しました

#2つ目(項目ををクリックする方法)
driver.find_element_by_css_selector("class").click()
element = driver.find_element_by_css_selector(".class > class1 :nth-child(n)").click()

#3つ目
element = driver.find_element_by_xpath("デベロッパーツールから拾ってきたXPATH")
driver.execute_script("arguments[0].click()", element)
element = driver.find_element_by_css_selector(".class > class1")
select = Select(element)
select.select_by_index(1) 

4つ目(項目がクリックされていないとだめなのかと考え、クリック後1つ目を実行)
driver.find_element_by_css_selector(".class").click()
element = driver.find_element_by_css_selector(".class > class1")
select = Select(element)
select.select_by_index(n)


#頂いた意見を基に実行したコード
time.sleep(5)
element = driver.find_element_by_name("name")
time.sleep(5)

select = Select(element)
time.sleep(5)
select.select_by_index(1)

補足情報（FW/ツールのバージョンなど）

ボックスクリック後に表示される項目リストにはXPATHが与えられておらず、そこからクリックする方法はできませんでした。time.sleep()でプログラムを止めてみたり、print(len(driver.find_elements_by_css_selector("class > class1 > option)))で、そもそも項目が存在するのかを表示させてみようとしたりもしたのですが、ダメでした(後者については、同様に"stale element not found"が表示されました)。

スクレイピングをはじめてまだ数日なので、至らない点もあると思いますが、ご教授頂けると幸いです。質問がございましたらお答えしますので、どうぞ宜しくお願い致します。

Answer 1

確実な回答ではないと思いますが、私も同じエラーがでて、このページにたどり着き、２の回答を参考にして、エレメントの取得まで1000msウエイトしていたところを2000msにしたら、正常に処理されました。
参考まで。

Answer 2

調べればわかりますが、stale というのは「古い」という意味です。
現在表示されているページではなく、過去に表示されていたページで取得した要素を操作しようとすると発生するエラーです。
ページ遷移してしまうと、遷移前のページで取得した要素は全て無効になります。
常に、現在表示されているページの要素だけを使うように設計し直します。

Comments

[konie]

回答頂き、ありがとうございます。
個人的に、エラーメッセージの訳が内容に結びついていなかったので、stale elementが過去に表示されていたページの要素を指していることはわかりました。
ありがとうございます。

ただ、otn様のご指摘については私も考え、"試したこと"で述べているコードの前にprint(driver.current_url)で、表示されているページに誤りがないかを確認しています。記載が足りず、申し訳ありません。"現在表示されているページの要素だけを使うように設計"というのは、current_urlを確認することでは達成できていないのでしょうか？
追って、ご教授頂けると嬉しいです。
よろしくお願い致します。

[otn]

> current_urlを確認することでは達成できていないのでしょうか？
「確認」というのが具体的に何をやっているのか不明ですが、StaleElementReferenceException が出ていると言うことは、"現在表示されているページの要素だけを使うように設計"が出来ていないと言うことです。

[konie]

current_urlと処理を行う対象があるページが同じということを確認するという意味合いでした。言葉が足らず、すみません。
よろしければ、仰っている設計方法について教えて頂けないでしょうか？

[otn]

設計方法と言っても、"現在表示されているページの要素だけを使うように設計" としか言い様がないですが、文章の意味がわからないのでしょうか？それとも具体的な方法でしょうか？
前者であれば、言い換えると「ページ遷移したら、それまでに取得した要素は使わない（使えないので）」ということです。
後者であれば、やりたいことも不明で、現在のコードも不明なので、なんとも言い様がないです。

[konie]

文章の意味はわかってるつもりです。その点は始めから意識して、該当ページ内で取得した要素のみを使うようにしています。
後者について教えて頂きたいです。
現在のコードの流れとしては、
①webdriverで目的のページを開く際に、ログインが求められる
・driver.getを使用
②idとpasswordを入力してログイン
・XPATHを指定して、send_keysでidとpasswordを入力し、ログイン
③ログイン後に目的のページであるか、urlを確認した後、本質問でのエラー箇所となっている処理を実行
という流れです。
説明不足であれば追記致しますので、ご助力頂ければと思います。

[otn]

抽象的に言われてもなんとも。
コードを質問文に追記しましょう。

[konie]

追記致しました。
よろしくお願いします。

[otn]

実行したコードをそのままコピペしていますか？
エラーメッセージに書かれている行番号の行はどれですか？

[konie]

もちろん秘匿すべき箇所は伏せていますが、そのままコピペしています。
エラーメッセージの対象になっているのは、select.select_by_index(n)
です。

[otn]

> もちろん秘匿すべき箇所は伏せていますが、そのままコピペしています。
伏せているのは、****** と書いている部分のことだけでしょうか？

> select.select_by_index(n)
2箇所ありますが。1箇所目ですか？2箇所目ですか？

[konie]

*やXPATH1-4, ウェブページの構造に関するタグ名等についても仮のものです。

#◯つ目と書いてある部分が試してみたコードになります。select.select_by_index(n)が書かれているパターンの両箇所で、エラーをはいている感じです。

[otn]

よくわかりません。1つめなのか2つめなのか、どちらなのでしょう？
まあ、とりあえず、これからプログラムを読んでみます。

[otn]

読み始めると、ログインの後、早速意味不明のコードが。
> driver.find_element_by_name("name")
は、選択したnameの要素を取得して、何にも代入してないのですが、これは一体何のつもりでしょうか？
削除し忘れですかね？

> select.select_by_index(n)
nが未定義ですね。実際には1とか2とかの数値を入れていると言うことですかね？

とりあえず、書かれているコードの範囲では、stale elementのエラーは出る要因が無いです。

可能性としては、
1．stale elementのエラーの出た時に実行していたコードと、質問文のコードが異なる
2．これは経験が無いので自信が無いですが、ページ表示開始後、JavaScriptによるページの書き換えがまだ終わってない段階で後続のコードが動くと、もしかするとJavaScriptが削除したノードを参照してしまって、stale element というエラーになり得るのかも（そういう経験は無いので全くの想像ですが）。もしこれが当たっていれば、ページ遷移後に十分待ってから要素を取得すればいけるかも。

[konie]

すみません。
driver.find_element_by_nameの部分は誤ったコードを記載していました。
修正したのでご確認頂ければ幸いです。

index(n)については、nに数値を入れているという認識で大丈夫です。

ひとまず、頂いた修正方法を試してみます！
ありがとうございます。

[konie]

只今、otnさんの意見として頂いていた、2の方法を実行してみたのですが、同様のstale element referenceのエラーが出てしまいました。
実行したコードを試したことに追加いたしましたので、確認とご教示を頂けると嬉しいです。

[otn]

私からは前回のコメント以上に言うことはありません。