selenium ページングの終了方法について

Question

seleniumを利用して、複数あるページを最後まで呼び出して、
最後まで行ったら終了する、プログラミングを検討しています。

例）
http://hoge.com/

ページ数が異なる場合もあるので、format()関数は利用せずに、
「次へ」のボタンをクリックさせることで遷移させたいと思い下記のコードで試してみました。

while True:
  try:
    next_btn = driver.find_element_by_class_name('gt_bt')
    next_btn.click()
  except NoSuchElementException:
    driver.quit()
    break

ページ送りは最後の92ページ目まで問題なくできるのですが、
ブラウザ終了の処理が上手くいきません。
おそらく、「次へ」のボタンが最後のページにも存在するためエラーとなるようです。

このような事例ではどのような対処方法がありますでしょうか？
ご教示いただけましたら幸甚です。何卒よろしくお願い申し上げます。

Comments

[otn]

ブラウザで手動でどうやるのかをそのままプログラミングすればいいのでは？
ブラウザで手動でどうやるのでしょうか？

[john_doe_]

質問の仕方が悪かったようなので修正します。

[otn]

ブラウザで手動でどうやるのかをそのままプログラミングすればいいのでは？
ブラウザで手動でどうやるのでしょうか？

[john_doe_]

手動ではやりません。

[otn]

やらないと先に進みませんよ。

[john_doe_]

申し訳ございませんが、質問の意味が理解出来ませんので、ご放念くださいますようお願い致します。

[otn]

手動でやる場合、何らかの表示で最終ページであることを知ると思いますが、そういう表示を探しましょう。
という表現ならわかりますでしょうか？

[john_doe_]

ご丁寧にありがとうございます。理解できました。
最後のページであることの表示を見つけられずにおります。。。

[otn]

なるほど。
そうすると、
> 「次へ」のボタンが最後のページにも存在するためエラーとなるようです。
ということなので、そのエラーがPythonの例外ということなら、
except NoSuchElementException:
に追加すればいいと思いますが、そうではないのでしょうか？
どういうエラーですか？

[john_doe_]

下記のエラーが発生いたしました。

WebDriverException: Message: disconnected: Unable to receive message from renderer
(Session info: chrome=78.0.3904.97)

Answer 1

NoSuchElementExceptionは起こりません。
なぜなら最終ページでもDOM上にはclass属性がgt_btの要素が存在するからです。

最終ページで次へを押そうとしたときに起こるエラーメッセージを見てください。
ものによって異なりますが、おおよそ以下の3つのどれかだと思います。
・ElementClickInterceptedException
・ElementNotInteractableException
・StaleElementReferenceException

それをexceptの条件に書いてやれば動くはずです。

from selenium.common.exceptions import 3つのうちどれか

while True:
  try:
    next_btn = driver.find_element_by_class_name('gt_bt')
    next_btn.click()
  except 3つのうちどれか:
    driver.quit()
    break

Comments

[john_doe_]

ご丁寧にご教示いたただきまして誠にありがとうございます。
ページング時のエラー処理のパターンが理解できて大変助かります。

今回は下記エラーメッセージが出ました。
WebDriverException: Message: disconnected: Unable to receive message from renderer
(Session info: chrome=78.0.3904.97)

[shirai]

そのエラーでそのままググってみました。
検索結果上位3つのページは北米版teratailのようなサイトでした。
英語で書かれていましたが、どうやらいずれのサイトでも
バージョンの違いに起因して起こる問題だと指摘があるようです。

英語が詳しく読めないので良く分からないですが、
seleniumのバージョン関連でよくあるエラーは
1. chromedriverとchromeのバージョン互換に問題がある
2. chromeのバージョン自体が古く(もしくは新しすぎて)
　スクレイピング対象サイトでは対応していない
が挙げられます。

かなりしんどい作業ですが色々とバージョンを変えて
試すほかありません。

[john_doe_]

ご親切にお調べまでいただき大変恐縮です。
再度、プログラムを回してみて、同じエラーが出るか試してみたいと思います。
ありがとうございました。

[john_doe_]

DOM上にclass属性がgt_btの要素が存在するので、無限ループになってしまっていました。
総ページ数を確認して、format()関数を利用することで対処したいと思います。

num = driver.find_element_by_class_name('total').text
num = int(num)
for i in range(1,num+1) :
driver.get('http://hoge/{}'.format(i))

Answer 2

1. URLでページを指定できる場合、ページが存在するかどうかで判断できます（例：teratail)
2. 最終ページに到達しても何一つ変化しない場合は、そのページを処理したことがあるかどうかで判断できます。

Comments

[john_doe_]

ご親切にご教示いたただきましてありがとうございます。
1.のやり方については大変参考になりましたので、活用させていただきます。

Answer 3

DOM上にclass属性がgt_btの要素が存在するので、無限ループになってしまっていました。
総ページ数を確認して、format()関数を利用することで対処しました。

num = driver.find_element_by_class_name('total').text
num = int(num)
for i in range(1,num+1) :
driver.get('http://hoge/{}'.format(i))

やり方としてはスマートではないかと思います。。。