【Pythonスクレイピング】<div id="root"></div> の中のDOMツリーコンテンツを取得したい。

Question

前提・実現したいこと

Reactが使われているWebページにおいてスクレイピングを行いたい。

発生している問題・エラーメッセージ

<div id="root"></div> <div id="root"></div>部分が空で返ってきてしまい、中身を取得することができない。

JavaScriptによりReactDOM.render() が実行されて、 <div id="root"></div> の中に作成されるDOMツリーのコンテンツを取得したい。

試したこと

import requests
from bs4 import BeautifulSoup

Webページを取得して解析する

load_url = "https://sushiswap.fi/"
html = requests.get(load_url)
soup = BeautifulSoup(html.content, "html.parser")

Answer 1

残念ながら、Beautiful Soupは、HTMLしか解析できません。JavaScriptの処理には対応していません。

Comments

[Ezerk]

回答いただきありがとうございます。

もしご存じでしたら、beautiful Soup以外のほかの方法でここをスクレイピングの仕方を教えていただきたいです。