selenium ページを処理したことがあるかどうかを判断したい

Question

seleniumでのページングを終了させたいのですが、
next buttonの要素が最終ページにも存在しており、
最終ページに到達しても何一つ変化が見当たりません。

最終ページに到達してもnext buttonの実行が無限ループになってしまいます。

以前に、ページを処理したことがあるかどうかを判断できる、と伺ったことがあるのですが、
処理方法について参考になるサイト等をご存知の方おられましたら、ご教示いただきたく存じます。

また、最終ページでは「disabled」と表示されるので、こちらをキーに処理することも検討しております。

何卒よろしくお願いお願い申し上げます。

Comments

[shirai]

最終ページ以外ののページ遷移時にURLは変わりますか？

[john_doe_]

ご連絡ありがとうございます。
本件、ページ遷移してもURLに変更はないパターンでございます。

[shirai]

ではタイトル、h1要素のテキストなど、決まって変わるものはありますか？

[john_doe_]

ご助言ありがとうございます。
調べてみましたら、下記の内容がページ遷移に合わせて変更されておりました。

<p class="sc-jbWsrJ gkQWpf">201 〜 288 / 288 件</p>

[john_doe_]

最終ページに到達すると、矢印ボタンの装飾に変化があるので、
こちらのキーに処理できないものかと考えておりますが、
検証ページ内のどこに装飾指示が記載されているのか見つけられずにおります。。。

[john_doe_]

next buttonのclass名？が最終ページのみ変更されておりました。

通常のnext button：
<button class="sc-hqGPoI dVGJTN">

最終ページのnext button：
<button class="sc-hqGPoI jIMuhR" disabled>

下記のような記述で対応可能かどうか試してみたいと思います。
if len(driver.find_elements_by_class_name('jIMuhR')) > 0:
driver.quit()

Answer 1

そのクラス属性は明らかに乱数生成されているので頼りになりません。
それよりもdisabeld属性がつくならそれを頼りにしたほうが早いです。

for _ in range(5):

    next_button = driver.find_element_by_tag_name('button') # ここ適宜してください

    if next_button.get_attribute('disabled') == 'true':
        break

    next_button.click()

おそらく文字列の'true'か'false'が帰ってくると思いますが、
念のためprintして確かめてみてください。
上のプログラムに合わせれば
false
false
true
true
true
と打たれると思います。

print(next_button.get_attribute('disabled'))

Comments

[john_doe_]

ご丁寧にご教示いただきましてありがとうございます。
ページ遷移のテストをしてみました。
ちなみに、button.click()が実行できなかったので、xpathを利用しました。

最終ページまで遷移してもbreakせずに、無限ループになってしまいました。
while True:
next_button = driver.find_element_by_tag_name('button')
if next_button.get_attribute('disabled') == 'true':
break

driver.find_element_by_xpath('//*[@id="root"]/div[4]/div[2]/div/div[2]/div[2]/div[2]/div/button[2]').click()

また、最終ページで下記を試してみましたが、'Fin Page'とはprintされませんでした。
next_button = driver.find_element_by_tag_name('button')
if next_button.get_attribute('disabled') == True:
print('Fin Page')

[shirai]

for文内にprint(next_button.get_attribute('disabled'))を書いて挙動を確認して頂けますか。

[john_doe_]

たびたびのご相談となり申し訳ございません。
実行した結果は下記の通りでございました。

for _ in range(5):

next_button = driver.find_element_by_tag_name('button')

if next_button.get_attribute('disabled') == 'true':
break

driver.find_element_by_xpath('//*[@id="root"]/div[4]/div[2]/div/div[2]/div[2]/div[2]/div/button[2]').click()
print(next_button.get_attribute('disabled'))

None
None
None
None
None

[shirai]

next_button = driver.find_element_by_tag_name('button') は私が適当に書いたものです。DOMに合わせて正しく変更してください。

[john_doe_]

下記で確認を試みましたが、要素を取得することができませんでした。。。。

elem = driver.find_element_by_class_name('sc-hqGPoI')
elem.find_element_by_tag_name('button').get_attribute('disabled')

NoSuchElementException: Message: no such element

[shirai]

開発者ツールでdocument.getElementsByTagName('button')と打ってください。目的のボタンは何番目ですか？

[john_doe_]

本件とは別の質問をしてしまい大変失礼しました。再度、試してみました。

for _ in range(5):
next_button = driver.find_element_by_class_name('sc-fATqzn')
if next_button.find_elements_by_tag_name('button')[1].get_attribute('disable') == True:
break

next_button.find_elements_by_tag_name('button')[1].click()
print(next_button.find_elements_by_tag_name('button')[1].get_attribute('disable') )

none
none
none
none
none

[john_doe_]

大分、稚拙なやり方になってしまいますが、
検索結果の合計から読み込みページ数を算出してfor文で必要数だけループさせるという処理を検討してみました。

elem = driver.find_element_by_class_name('sc-jbWsrJ')
page_num = int(elem.text.split('/')[1].replace('件',''))//100 + 1

for _ in range(page_num):
　next_button = driver.find_element_by_class_name('sc-fATqzn')
　next_button.find_elements_by_tag_name('button')[1].click()

Answer 2

nex_buttonを押した際の挙動により異なります。

nex_buttonを押した際、Ajaxが発火して、URLが変わっていないのにページ内容が変更されるなら、Cookieにページ番号がセットされているはずですので、そこから、判断します。

URLが変わるようであれば、単純にURLが変わらなければ最終ページに行きついたと判断すればよいでしょう

Comments

[john_doe_]

ご親切にご教示いただきまして誠にありがとうございます。
本件、URLが変わっていないのにページ内容が変更されるパターンです。
「Cookie」で検証ページ内を検索してみたのですが、
ページ番号らしきものは見つかりませんでした。。。

Answer 3

大分、稚拙なやり方になってしまいますが、
検索結果の合計から読み込みページ数を算出してfor文で必要数だけループさせるという処理を検討してみました。

elem = driver.find_element_by_class_name('sc-jbWsrJ')
page_num = int(elem.text.split('/')[1].replace('件',''))//100 + 1

for _ in range(page_num):
　next_button = driver.find_element_by_class_name('sc-fATqzn')
　next_button.find_elements_by_tag_name('button')[1].click()