python.seleniumによるスクレイピングで『次のページ』をfor文とif文で取得する方法について

Question

タイトルのとおりです
以下のコードでできません
どこが間違っておりますでしょうか？
何卒ご教授よろしくお願いいたします

a = driver.find_elements_by_xpath('//*[@id="QIKmain_table"]/tbody/tr/td[1]/span')
b = driver.find_elements_by_xpath('//*[@id="QIKpager"]/ul/li/a')

apple_list = []
for i in range(5):
    apple_list.append(a[i].text) #StaleElementReferenceException(stale element reference: element is not attached to the page document)
    if len(b)>0:
        b[i].click()
        sleep(3)

aはテーブルタグの要素で以下のようにあります
//[@id="QIKmain_table"]/tbody/tr[1]/td[1]/span
//[@id="QIKmain_table"]/tbody/tr[2]/td[1]/span
//[@id="QIKmain_table"]/tbody/tr[3]/td[1]/span
・
・
・
bは次のページのボタンです
//[@id="QIKpager"]/ul/li[2]/a
//[@id="QIKpager"]/ul/li[3]/a
//[@id="QIKpager"]/ul/li[4]/a
・
・
・
一応

if len(b)>0:
        b[i+2].click()
        sleep(3)

でやってみましたができませんでした
また、多くのサイトではifではなくwhileとtryを使用しているのですがこのようなプログラムを書くときはwhileとtryのほうが適切なのでしょうか？

参考URL
・selenium 次のページをクリックして最後まで画面推移させたい(https://teratail.com/questions/218274)
・seleniumによるスクレイピングで次ページへのリンクがなくなるまで繰り返し処理をしたい(https://teratail.com/questions/232473)
・「次へ」「次のページへ」「NEXT」をPythonとseleniumでスクレイピングする(https://nanjamonja.net/archives/893)

Answer 1

StaleElementReferenceException(stale element reference: element is not attached to the page document)

がエラーメッセージですよね？Staleというのは「古くなった」という意味です。

bはAタグのリストなので、b[i].click()はページ遷移が発生します。
ページ遷移すると、それ以前のページの情報は失われるので、aやbの中に入っているノードは全部無効(=古く）になりますので、参照や操作はできません。

a[i].textをアペンドしつつ、b[i]にページ遷移するというのが、そもそも何をしたいのかが読み取れないので、どうすればいいのかのアドバイスは困難です。

#コメントを受けての追記
こんな感じでしょうか。
ページをめくるたびに、a bを求めないと駄目です。よく考えましょう。

apple_list = []
for i in range(5):
    a = driver.find_elements_by_xpath('//*[@id="QIKmain_table"]/tbody/tr/td[1]/span')
    b = driver.find_elements_by_xpath('//*[@id="QIKpager"]/ul/li/a')
    apple_list.extend([x.text for x in a])
    if len(b)>0:
        b[0].click()
        sleep(3)
    else:
        break

Comments

[help-man]

えっと
1ページ目のaの要素をスクレイピング(1aとする)→次のページを押す(b.click)→2ページ目のaの要素をスクレイピング(2a)→次のページを押す(b.click)→3ページ目のaの要素をスクレイピング(3a)→.....を行い、最終的に1a+2a+3a+4a+5aをしたいです

[otn]

全然わかりません。aもbも1つのページに複数あるのでは？
それとも質問文の記述が間違いで、1つのページにaもbも1つずつなんですか？

[help-man]

aはテーブルタグの要素でたくさんあります
bは1つです
例えばこのteratail（https://teratail.com/feed/new/1）だと各ユーザーさんの質問がズラーっとあると思います
でこの質問欄のすべてのリンクのタイトルをスクレイピングして【次のページ】を押す→2ページ目の質問欄のすべてのリンクのタイトルをスクレイピングをして【次のページ】を押す→3ページ目の質問欄のすべてのリンクのタイトルをスクレイピングをして【次のページ】を押す・・・
を5回したいです
これで伝わるといいのですが

[otn]

ああ、やっぱりbは1つなんですね。b[0]～b[4]をアクセスするコードが書かれていたので、5以上あるのかと。
それならわかります。

[help-man]

コメントとコードをご教授くださりありがとうございます
やってみましたがなぜか次のページのボタンは押されず1ページ目のテーブルの要素を5回スクレイピングするという不可解なことが起きました
しかしご教授いただいたコードを元に色々やってみようと思います
ありがとうございました

[otn]

クリックしているリンクが違うんでしょうね。同じページへのリンクをクリックしているということでしょう。