Python seleniumでget_attributeで属性を取得する時にエラーになる時がある

Question

get_attributeで属性を取得するとき、なぜか下記のエラーが出る時があります。

8行目でエラーが出ています。
8行目がnoneと出力される時があるので、存在しないときにエラーが出ている訳ではないかもしれません。

main = driver.find_elements(By.TAG_NAME, "main")
sleep(10)
divs = main[0].find_elements(By.TAG_NAME, "div")
for i, sent in enumerate(divs):
    sleep(0.1)
    print(i)
    print(sent)
    print(sent.get_attribute("data-testid"))

Message: The element reference of <div class="xxx yyy"> is stale; either the element is no longer attached to the DOM, it is not in the current frame context, or the document has been refreshed

下記リンクのページに下記のコードがありましたが、for link の部分が理解できませんでした。
下記のように記載することで問題が解決できる可能性はありますでしょうか？
ご存知の方おられましたら、ご教示お願いいたします。

links_hrefs = [link.get_attribute('href') for link in links]

is stale; either the element is no longer attached to the DOM, it is not in the current frame context, or the document has been refreshed

Answer 1

Message: The element reference of <div class="xxx yyy"> is stale; either the element is no longer attached to the DOM, it is not in the current frame context, or the document has been refreshed

メッセージの通りですが、main[0].find_elements(By.TAG_NAME, "div")で要素を取得した後で、get_attribute("data-testid")するまでの間に画面が書き換わっています。
すでにブラウザ上に存在しない要素の属性は取得できません。

sleepしている間に書き換わったのでしょうが、頻繁に書き換わるページであれば、sleepをやめても間に合わないかも知れませんね。
スクレイピングするプログラムの動作より速く自動更新されるサイトであれば、driver.page_sourceで、ある瞬間のHTMLを取得してそれをBeautiful SoupのようなHTMLパーサーで解析するくらいでしょうか。

links_hrefs = [link.get_attribute('href') for link in links]

は、Pythonの基本文法の一つの「内包表記」というものです。

links_hrefs = []
for link in links:
    links_hrefs.append(link.get_attribute('href') )

というコードが理解できるのなら、それと同じです。
これを知らないということは、Pythonの入門を途中でやめてしまったと言うことだと思うので、他にももっと基本的なことを知らないせいでの非効率が発生している可能性がありますね。

Comments

[fuku-chann]

おかげさまで原因がわかり、解決することができました。
早急なお返事ありがとうございました。

Answer 2

下記のように記載することで問題が解決できる可能性はありますでしょうか？
links_hrefs = [link.get_attribute('href') for link in links]

linksではなくdivsだと思います。

links_hrefs = [link.get_attribute('href') for link in divs]

Comments

[fuku-chann]

ご回答ありがとうございました。
大変助かりました。