requestsで返ってきたBeautifulSoupのhtmlに含まれていないものがある

Question

前提

from bs4 import BeautifulSoup
import requests

url = "https://navi.kamuitracker.com/ranking/youtube_alltime?pg=1"
html = requests.get(url=url)

soup = BeautifulSoup(html.content, "html.parser")
print(soup.main.prettify())

返ってきた値

実現したいこと

devツールで確認した欲しい値

スクレイピング自体初めてなのですが、いまいちつかめていません。
教えていただけたら幸いです。 よろしくお願いいたします。

Comments

[melian]

その部分は JavaScript(XMLHttpRequest)でデータを取得して描画しています。肝心のデータの中身は以下になります。

https://app.kamuitracker.com/kamunavi/v1/channels/search?date=20230120&page=1

[reeeeet]

コメントありがとうございます。
非常にわかりやすかったです。

Answer 1

当該のHTMLタグは、JavaScriptから構築されているものではないでしょうか。

BeautifluSoupは純粋にHTMLだけ取るので、JavaScriptによる結果は得られません。

Comments

[reeeeet]

ご回答ありがとうございます。
非常にわかりやすかったです。

Answer 2

それは、JavaScriptで後から追加した部分でしょうね。requests等はHTMLページを取ってくるだけですので、取ってきた後で追加された物はどうしようも無いです。

そういうサイトに対しては多くの場合Seleniumライブラリーが使われていると思います。このサイトでも沢山質問がでています。Chrome/Edge/Firefox等のウェブブラウザーをコントロールしてブラウザにJavaScriptを実行してページを作ってもらいその結果を取ります。

Comments

[reeeeet]

ご回答ありがとうございます。
この質問を調べてみたいと思います。