Seleniumを用いてWebスクレイピングをしたいのですが、次のページに遷移するとエラーで止まります。

Question

実現したいこと

• Seleniumを用いてWebスクレイピングをしたい
  -何ページかに渡ってスクレイピングを実行したいが、”次のページ”が押されてページが遷移した後にエラーで止まる
  -ページ遷移後も止めずにスクレイピングを行いたい

前提

SeleniumでWebスクレイピングをしようしています。
何ページかに渡って情報を収集したいのですが、次のページに遷移した後にエラーでコードが止まってしまいます。

発生している問題・エラーメッセージ

StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
  (Session info: chrome=109.0.5414.119)

該当のソースコード

i = 0

while True:
    i = i +1
    sleep(1)
    keys = []
    
    for elem in elems_title:
        elems_title = browser.find_elements_by_class_name("enHeadline")
        key  = elem.text
        print(key)
        keys.append(key)
        
    next_elem = browser.find_element_by_class_name("nextItem")
    next_elem.click()
    sleep(5)
    ##2週目がうまくいかないのはなぜか？
    if i >5:
        break

補足情報（FW/ツールのバージョンなど）

上記コードの”nextItem”が"次のページ"に該当します。
実行すると、当該ページの情報は収集しますが”次のページ”に遷移した後にエラーが出て止まります。

コードをどのように修正すれば止めずに収集できるでしょうか。
教えていただけると大変助かります。よろしくお願いいたします。

下記が出力とエラーの全体
veco Group NV - Iveco Group and Nikola Corporation’s sustainable transport journey progresses today at IAA Transportation 2022
QUANTRON to Unveil First Hydrogen Fuel Cell Truck Equipped With Allison eGen Power(R) Electric Axle at IAA
Iveco Group NV - IVECO and Hyundai present the first fuel cell large van at IAA in Hanover as their partnership develops
Iveco Group displays its product milestones towards net zero carbon mobility at IAA Transportation 2022
Press Release: Iveco Group displays its product milestones towards net zero carbon mobility at IAA Transportation 2022

StaleElementReferenceException Traceback (most recent call last)
/var/folders/yy/g16v5qk95p3flj__2r5qpj_w0000gp/T/ipykernel_10005/2027160841.py in <module>
8 for elem in elems_title:
9 elems_title = browser.find_elements_by_class_name("enHeadline")
---> 10 key = elem.text
11 print(key)
12 keys.append(key)

~/opt/anaconda3/lib/python3.9/site-packages/selenium/webdriver/remote/webelement.py in text(self)
74 def text(self):
75 """The text of the element."""
---> 76 return self._execute(Command.GET_ELEMENT_TEXT)['value']
77
78 def click(self):

~/opt/anaconda3/lib/python3.9/site-packages/selenium/webdriver/remote/webelement.py in _execute(self, command, params)
631 params = {}
632 params['id'] = self._id
--> 633 return self._parent.execute(command, params)
634
635 def find_element(self, by=By.ID, value=None):

~/opt/anaconda3/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py in execute(self, driver_command, params)
319 response = self.command_executor.execute(driver_command, params)
320 if response:
--> 321 self.error_handler.check_response(response)
322 response['value'] = self._unwrap_value(
323 response.get('value', None))

~/opt/anaconda3/lib/python3.9/site-packages/selenium/webdriver/remote/errorhandler.py in check_response(self, response)
240 alert_text = value['alert'].get('text')
241 raise exception_class(message, screen, stacktrace, alert_text)
--> 242 raise exception_class(message, screen, stacktrace)
243
244 def _value_or_default(self, obj, key, default):

StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
(Session info: chrome=109.0.5414.119)

Answer 1

ページ遷移が完了する間に前のページで要素を取得してしまうとこの例外が発生します。

本来は、ページ遷移後に要素の取得をして欲しいのですが、ページ遷移に時間が掛かっている間に今いるページの要素が取得できてしまうため、ページ遷移後に前のページにいる間に取得できてしまった要素を参照しようとしてエラーとなります。

なので例外が発生したら、再度同じ処理を実行して遷移後のページで要素の再取得を試みるという手があります。

from selenium.common.exceptions import StaleElementReferenceException

i = 0

while True:
    i = i + 1
    keys: list[str] = []

    try:
        elems_title = browser.find_elements_by_class_name("enHeadline")
    except StaleElementReferenceException:
        elems_title = browser.find_elements_by_class_name("enHeadline")

    for elem in elems_title:
        key: str = elem.text
        print(key)
        keys.append(key)

    next_elem = browser.find_element_by_class_name("nextItem")
    next_elem.click()

    if i > 5:
        break

また、要素の取得前に time.sleep() などで待機時間を設定するのも有効かと思われます。

Comments

[Tokyonosight]

sleepを入れたら解決できました、大変ありがとうございました！

Answer 2

stale element reference: element is not attached to the page document

と言うエラーは、居間表示しているページじゃない前のページで取得した要素を使おうとした時に発生するエラーです。
Seleniumでは、ページ遷移した瞬間に、前のページで取得した要素は全て無効になります。

解決方法としては、
案1：元のページに複数のaタグがあり、それらを順にクリックしてページを遷移していくような場合であれば、aタグ要素を保存するのでなく、hrefのURLを文字列として保存しておき、順番にgetで遷移する。
案2：そういうケースでない場合は、毎回前のページに戻って、要素を取得し直して、続きをできるようなやり方を考える。

あと、

for elem in elems_title:
elems_title = browser.find_elements_by_class_name("enHeadline")

と、elems_titleの繰り返しの中でelems_titleを更新しちゃってますが、これはコピペミスですかね？

Comments

[Tokyonosight]

ありがとうございます。前のページで取得した要素は無効になるんですね。
今回は案2でないといけなさそうなのですが、”毎回前のページに戻り、要素を取得し直す”とはどういう方法になるでしょうか？前のページに戻った時点で、その前に取得した要素が無効になる、ということだと理解したのですが、そうならない方法がありそうでしたら教えていただきたいです。

[Tokyonosight]

elems_titleの繰り返しの中でelems_titleを更新しちゃってますが、これはコピペミスですかね？
->すみません、これは消し忘れです。

[otn]

> ”毎回前のページに戻り、要素を取得し直す”とはどういう方法になるでしょうか？
それ以上言い様がないですが、何が分かりませんか？

> そうならない方法がありそうでしたら教えていただきたいです。
無いです。