python Beautiful Soup 数字が ---.--になっていて取り出せない

Question

以下のurlのサイトの　数値を取り出したいのですが、
数値が--.--になっていています。

url = "https://race.netkeiba.com/odds/index.html?type=b4&race_id=202104030111&housiki=c99"

df = pd.read_html(url)[0]

html = requests.get(url)
html.encoding = "EUC-JP"
soup = BeautifulSoup(html.text, "html.parser")

soup.find_all("table", attrs={"id": "Umaren"})[0].find_all("td", attrs={"class": "Odds"})

出力結果

[<td class="Odds"><span id="odds-4_1">---.-</span></td>,
 <td class="Odds"><span id="odds-5_1">---.-</span></td>,
 <td class="Odds"><span id="odds-4_2">---.-</span></td>,
 <td class="Odds"><span id="odds-5_2">---.-</span></td>,
 <td class="Odds"><span id="odds-4_3">---.-</span></td>,

本来なら---.--の場所に1.8などの数値が入っているのですがどうすれば取り出せますか？
教えていただきたいです。
よろしくお願いいたします。

Answer 1

その手のWeb解析は、まずF12を押すことです。
Chrome/FirefoxならF12ですが、他なら違うかもしれませんが。

そうすると、オッズは、JavaScriptで別立てで設定していることがわかると思います。
対象HTMLには以下のようにありました。

function getDataOdds(baken_kind, housiki) {
if (typeof housiki == 'undefined') {
housiki = '';
}
$("#odds_view_result").html('');
if (housiki != '') {
var url = "../odds/odds_get_form.html?type="+baken_kind+"&race_id=202104030111&housiki="+housiki+"&rf=shutuba_submenu";
} else {
var url = "../odds/odds_get_form.html?type="+baken_kind+"&race_id=202104030111&rf=shutuba_submenu";
}
$("[id^=odds_navi_] a").each ( function() { $(this).removeClass("Active"); } )
$.ajax({
type: "GET",
cache: false,
url: url,
data: null,
success: function(data)
{
$('#odds_navi_' + baken_kind + ' a').addClass('Active');
window.history.pushState(null,null, url.replace('odds_get_form','index'));
$("#odds_view_form").empty().append(data);
}
});
}

Ajaxで別に取得してるみたいですね。

という風に、順番に解析していくのがセオリーです。

Comments

[ryo123445556]

回答ありがとうございます
少し難しかったです、詳しく教えていただきありがとううございました
追々コードの内容を理解できる様に頑張ります。

Answer 2

selenium利用してJavaScriptを実行させた後にその実行されたHTMLを取得すると値が取れると思います。

from bs4 import BeautifulSoup
from selenium import webdriver
import chromedriver_binary 


url = "https://race.netkeiba.com/odds/index.html?type=b4&race_id=202104030111&housiki=c99"

driver = webdriver.Chrome()
driver.get(url)
driver.set_script_timeout(5)
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, "html.parser")
# 取得処理

Comments

[ryo123445556]

回答ありがとうございます。
webdriverで取得できました。
ありがとうございます。