Python Selenium スクレイピング 待機メソッドについて

Question

PythonのSeleniumの待機メソッドで躓いています。
あるサイトで自動操作を行うためのプログラムを作成していて、time.sleep(5)程度でサイトを読み込むまでに十分な時間を与えると動作は安定するのですが、なるべく早く動作をさせたいため、time.sleep()で十分な時間を与えるのではなく、要素が読み込めたら次の動作へ移るようにプログラムを実行させたいです。そこで、expected_conditionsにあるvisibility_of_element_locatedなどを用いて要素が見つかったら動作をさせるという手法を用いることにしたのですが、かなりの頻度で要素が見つからず、タイムアウトになりエラーを吐かれるのですが、こういったことはよくあるのでしょうか？他にいい方法や改善策などがありましたらご教授お願い致します。

Answer 1

暗黙的な待機
https://www.selenium.dev/documentation/ja/webdriver/waits/#暗黙的な待機
は、「要素が読み込めたら次の動作へ移る」けど「見つからない場合は設定秒数待つ」ものですが、これは試されましたか？

Answer 2

Web側の処理で時間がかかるようなページではタイムアウトしたりしなかったりする場合がありました。
わたしはタイムアウトしたら、再度トライすると言うことで回避していました。
Seleniumより、Playwrightの方が安定するような感じでした。
Playwrightでも試してみてはいかがでしょうか。

Comments

[tsehcohi]

seleniumで様々な待機処理を試してみましたが、すべて不安定でした。ご紹介していただいたPlaywrightについて調べると待機処理の部分がSeleniumより優秀とのことで、色々試してみたいと思います。
ご紹介していただきありがとうございました。