前提
PythonのSeleniumでスクレイピングを実行しています。
ページダウンの操作でスクロールされる分がたまに違うことがあり、
次の処理のボタンクリックが要素がないというエラーが発生し、失敗することがあります。
どうしてなのでしょうか?
処理と処理の間には、time.sleepを3秒くらいは入れています。
上手くいくときはずっと続くのですが、たまに失敗がありデータを取り損なってしまいます。
ちなみに検索結果のtableが20件あり、それを抽出しています。
それぞれのtrの高さは同じです。
実現したいこと
ここに実現したいことを箇条書きで書いてください。
- ▲▲機能を動作するようにする
発生している問題・エラーメッセージ
エラーメッセージ
該当のソースコード
python
1 # 下までスクロール 2 driver.find_element(By.TAG_NAME,'body').click() 3 time.sleep(4) 4 driver.find_element(By.TAG_NAME,'body').send_keys(Keys.PAGE_DOWN) 5 # 次のページをクリック 6 pagediv = driver.find_element(By.XPATH,'//*[@id="result_list"]/div') 7 #間の処理は割愛 8 astr = '//*[@id="result_list"]/div/p/a[' + str + ']' 9 # ここでたまにエラー発生 10 driver.find_element(By.XPATH,astr).click() 11
試したこと
・Chromeの拡大率が100%であることを確認
補足情報(FW/ツールのバージョンなど)
ここにより詳細な情報を記載してください。
あなたの回答
tips
プレビュー