前提・実現したいこと
ここに質問の内容を詳しく書いてください。
医学・生物学文献データベース「Pubmed」をスクレイピングして論文情報を自動で取得するプログラムをPython+selenium+chronedriverの環境で作っています。
プログラム実行中にページ数20、論文取得数600本前後で以下のエラーが発生します。
発生している問題・エラーメッセージ
. . . File "/anaconda3/lib/python3.6/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) ElementNotVisibleException: element not visible (Session info: chrome=73.0.3683.103) (Driver info: chromedriver=2.38.552518 (183d19265345f54ce39cbb94cf81ba5f15905011),platform=Mac OS X 10.14.4 x86_64)
該当のソースコード
Python
1if exception_class == ErrorInResponseException: 2 raise exception_class(response, message) 3 elif exception_class == UnexpectedAlertPresentException: 4 alert_text = None 5 if 'data' in value: 6 alert_text = value['data'].get('text') 7 elif 'alert' in value: 8 alert_text = value['alert'].get('text') 9 raise exception_class(message, screen, stacktrace, alert_text) 10 raise exception_class(message, screen, stacktrace)
試したこと
クローリング速度によってエラーが発生するようになっているのかと思い、time.sleep()の時間延長や例外発生時にブラウザを更新して再度実行するようにしましたが同様にエラーが発生しました。
補足情報(FW/ツールのバージョンなど)
Python 3.6.8
エラー発生時のURL