無限スクロールの要素をスクレイピングしたい

Question

スクロールはjavascriptで出来るのですが
読み込み完了を待つ方法が知りたいです。

Comments

[2KOH]

試したやり方と、それらのやり方でうまくできなかった理由を明記してください。

Answer 1

基本的に私は特定の要素を目印にして、それが存在するかどうかで読込完了を判断します。
もしくは、処理中にのみ存在する要素が存在しないかどうかで判断します。

他に、例えば一覧の全要素を取得するケースで予め全要素数を取得できる場合は
取得できた要素数が全要素数になるまで、処理をループさせることで読込完了を判断したりします。

Answer 2

ページの読み込みに時間がかかるようでしたら、time.sleepを入れたら良いのではないでしょうか？