段階的にhtmlが追記されていくWebサイトのスクレイピング方法

Question

Webサイトの中には一度のリクエストに対して、レスポンスに全てのhtmlが記述されておらず、段階的にhtmlが追加されていくサイトがあります。
そういったURLに対して、最終的なhtmlを取得し必要な情報を取得したいのですが、実装方法がわかりません。
教えていただけないでしょうか。
RoboBrowserを用いてスクレイピングしています。

Answer 1

ページの構成がどうなっているかに依存すると思います。

JavaScript で、コンテンツの表示を書き換えたりしている場合、RoboBrowser は、JavaScript に対応していないようなので、無理だと思います。

Webサイトに JavaScript が使われている場合は、Selenium with Python を使うぐらいしか方法がありません。

Comments

[futaba1991]

Seleniumですね。ご丁寧に教えていただきありがとうございます。