Q&A
ブラウザで手動でどうやるのかをそのままプログラミングすればいいのでは？
ブラウザで手動でどうやるのでしょうか？
seleniumを利用して、複数あるページを最後まで呼び出して、
最後まで行ったら終了する、プログラミングを検討しています。
ページ数が異なる場合もあるので、format()関数は利用せずに、
「次へ」のボタンをクリックさせることで遷移させたいと思い下記のコードで試してみました。
while True: try: next_btn = driver.find_element_by_class_name('gt_bt') next_btn.click() except NoSuchElementException: driver.quit() break
ページ送りは最後の92ページ目まで問題なくできるのですが、
ブラウザ終了の処理が上手くいきません。
おそらく、「次へ」のボタンが最後のページにも存在するためエラーとなるようです。
このような事例ではどのような対処方法がありますでしょうか？
ご教示いただけましたら幸甚です。何卒よろしくお願い申し上げます。
質問の仕方が悪かったようなので修正します。
ブラウザで手動でどうやるのかをそのままプログラミングすればいいのでは？
ブラウザで手動でどうやるのでしょうか？
手動ではやりません。
やらないと先に進みませんよ。
申し訳ございませんが、質問の意味が理解出来ませんので、ご放念くださいますようお願い致します。
手動でやる場合、何らかの表示で最終ページであることを知ると思いますが、そういう表示を探しましょう。
という表現ならわかりますでしょうか？
ご丁寧にありがとうございます。理解できました。
最後のページであることの表示を見つけられずにおります。。。
なるほど。
そうすると、
> 「次へ」のボタンが最後のページにも存在するためエラーとなるようです。
ということなので、そのエラーがPythonの例外ということなら、
except NoSuchElementException:
に追加すればいいと思いますが、そうではないのでしょうか？
どういうエラーですか？
下記のエラーが発生いたしました。
WebDriverException: Message: disconnected: Unable to receive message from renderer
(Session info: chrome=78.0.3904.97)
回答3件
0
ベストアンサー
NoSuchElementExceptionは起こりません。
なぜなら最終ページでもDOM上にはclass属性がgt_btの要素が存在するからです。
最終ページで次へを押そうとしたときに起こるエラーメッセージを見てください。
ものによって異なりますが、おおよそ以下の3つのどれかだと思います。
・ElementClickInterceptedException
・ElementNotInteractableException
・StaleElementReferenceException
それをexceptの条件に書いてやれば動くはずです。
python
1from selenium.common.exceptions import 3つのうちどれか 2 3while True: 4 try: 5 next_btn = driver.find_element_by_class_name('gt_bt') 6 next_btn.click() 7 except 3つのうちどれか: 8 driver.quit() 9 break
投稿2019/11/13 03:22
総合スコア1290
ご丁寧にご教示いたただきまして誠にありがとうございます。
ページング時のエラー処理のパターンが理解できて大変助かります。
今回は下記エラーメッセージが出ました。
WebDriverException: Message: disconnected: Unable to receive message from renderer
(Session info: chrome=78.0.3904.97)
そのエラーでそのままググってみました。
検索結果上位3つのページは北米版teratailのようなサイトでした。
英語で書かれていましたが、どうやらいずれのサイトでも
バージョンの違いに起因して起こる問題だと指摘があるようです。
英語が詳しく読めないので良く分からないですが、
seleniumのバージョン関連でよくあるエラーは
1. chromedriverとchromeのバージョン互換に問題がある
2. chromeのバージョン自体が古く(もしくは新しすぎて)
スクレイピング対象サイトでは対応していない
が挙げられます。
かなりしんどい作業ですが色々とバージョンを変えて
試すほかありません。
ご親切にお調べまでいただき大変恐縮です。
再度、プログラムを回してみて、同じエラーが出るか試してみたいと思います。
ありがとうございました。
DOM上にclass属性がgt_btの要素が存在するので、無限ループになってしまっていました。
総ページ数を確認して、format()関数を利用することで対処したいと思います。
num = driver.find_element_by_class_name('total').text
num = int(num)
for i in range(1,num+1) :
driver.get('http://hoge/{}'.format(i))
0
DOM上にclass属性がgt_btの要素が存在するので、無限ループになってしまっていました。
総ページ数を確認して、format()関数を利用することで対処しました。
num = driver.find_element_by_class_name('total').text
num = int(num)
for i in range(1,num+1) :
driver.get('http://hoge/{}'.format(i))
やり方としてはスマートではないかと思います。。。
投稿2019/11/13 10:35
総合スコア354
あなたの回答
tips
プレビュー
