pythonでのスクレイピングで教えていただけますでしょうか。

Question

以下のサイトから「人気」と「オッズ」を取得したいのですがbeautifulを使って取得するとデータが入っていません。
要素画面上には数値は見えています。
どなたかヒントだけでも頂けると助かります。ご教示よろしくお願いします。

url = "https://race.netkeiba.com/race/shutuba.html?race_id=202209021211&rf=top_pickup"

import pandas as pd
from bs4 import BeautifulSoup
import requests

html = requests.get(url)
soup = BeautifulSoup(html.text)
tes = soup.find("table").find("td",class_="Txt_R Popular")

出力結果
td class="Txt_R Popular"><span id="odds-1_01" style="font-weight : bold">---.-</span></td>　
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿　↑ここに7.8がありません　　

Answer 1

soup = BeautifulSoup(html.text)

の次の行に print(soup) を入れて実行すると　どのような HTML が表示されるでしょうか。

要素画面上には数値は見えています。

と書かれている HTML と同じものが取得できていますか？

---

Webブラウザと HTML が異なる原因ですが、アクセスしている Web ページは JavaScript でデータを取得してページに値を表示させていますので JavaScript を処理できるツールを使う必要があります。

Chrome や Firefox 等の Web ブラウザは、Webページを表示する際に JavaScript の処理しますが requests は指定したURL からファイルを取得して処理するだけですので、JavaScript の処理はされません。
そのため JavaScript で処理されて追加される内容は反映されません。

Web ブラウザで JavaScript を無効にしてアクセスすると同様な数字のない表示になると思います。

Comments

[12344kaza-_0101]

cherryさん、回答ありがとうございます。

以下、print(soup)での実行結果で数値は入っていませんでした。
<td class="Txt_R Popular"><span id="odds-1_10" style="font-weight : bold">---.-</span></td>
<td class="Popular Popular_Ninki Txt_C">

また、javasprictを無効にすることで見えていた数値も表示されなくなりました。
ご指摘有難うございます。

javascriptを処理できるツールの件ですがNode.jsというものを検索にひっかかりましたがこちらの学習で問題ないでしょうか。何度もすみませんが回答いただけると助かります。
<span id="ninki-1_10">**</span>

[CHERRY]

node.js でも　一緒でしょうね...

プログラミング言語の問題ではなく、 Web にアクセスするツールの問題です。

検索するといろいろ出てくると思いますが、JavaScript でページを生成しているサイトの場合は、Webブラウザ操作を自動化する Selenium WebDriver を使う事が多いと思います。

[12344kaza-_0101]

CHERRYさん、さっそくご回答ありがとうございます。
紹介いただいたselenium Webdriver　をまずは試してみたいと思います。
大変たすかりましたm(__)m

[12344kaza-_0101]

selenium driver をつかってデータ取得が出来るようになりました。
CHERRYさん、ご教示いただきありがとうございました。