netkeibaという競馬サイトの着順表から日付のデータを取得したいが、着順表のtableの取得ができないのでやり方を教えてください。

Question

実現したいこと

netkeibaという競馬サイトの下記URL先から日付のデータを取得したいです。

https://db.netkeiba.com/horse/2021101134/

このURLから"日付"の列のデータを取得してprintするプログラムを書いてください（コードを修正する形や新規作成する方法どちらでも歓迎です）

また、なぜ戦績テーブルを取得できないのかの理由の説明もお願いします。（こちらだけ、もしくは前述の内容だけ、でも非常に助かります）

前提

戦績テーブルがあるはずなのになぜかここの取得ができなくて、htmlの指定方法を変えてみたり、（class名を部分一致で検索するようにしてみたり、何番目のtable、tbody、というような形式で検索してみたりしてみましたが全部失敗しました。助けてください；；お願います；；
セレクターで指定する方法もやってみ見ましたがダメでした。
私が何か初歩的なミスをしている可能性もかなりあると思いますが、わからないので助けてください；；

該当のソースコード

import requests
from bs4 import BeautifulSoup
import time

# 設定
TARGET_URL = "https://db.netkeiba.com/horse/2021101134/"

def get_soup(url):
    """URLからBeautifulSoupオブジェクトを作成する"""
    try:
        time.sleep(1)  # サーバーへの負荷軽減のため待機
        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
        }
        response = requests.get(url, headers=headers)
        response.encoding = "euc-jp"  # netkeibaはeuc-jp
        return BeautifulSoup(response.text, "html.parser")
    except Exception as e:
        print(f"Error fetching {url}: {e}")
        return None

def main():
    print(f"アクセス中: {TARGET_URL}")
    soup = get_soup(TARGET_URL)
    if not soup:
        print("ページの取得に失敗しました。")
        return

    # 戦績テーブルをクラス名で検索
    # class="db_h_race_results" を持つテーブルを取得
    table = soup.find("table", class_="db_h_race_results")
    
    if not table:
        print("戦績テーブルが見つかりませんでした。")
        return

    rows = table.find_all("tr")
    
    print("\n--- 日付データの抽出 ---")
    # ヘッダー行(0番目)を除いてループ
    for row in rows[1:]:
        cols = row.find_all("td")
        # 日付の列が存在するか確認
        if len(cols) < 1:
            continue

        # 日付 (0列目)
        date_val = cols[0].get_text(strip=True)
        print(date_val)

if __name__ == "__main__":
    main()

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[kasusa3]

エラーは起きていないです。
戦績テーブルが存在するのにもかかわらず、ずっとprint("戦績テーブルが見つかりませんでした。")になり続けてしまい困ってます

[melian]

対象のウェブページのソースコード(HTML)を確認すると判るかと思いますが、以下の様なJavaScript(JQuery)コードが埋め込まれていて、当該のテーブルを動的に生成しています。そのため、質問にあるコードではテーブルを取得することはできません。

$.get('https://db.netkeiba.com/horse/ajax_horse_results.html',
{
input: 'UTF-8',
output: 'json',
id: horse_id,
},
function(data){
if('OK' == data.status){
$('#horse_results_box').html(data.data);
}
});
});

[yambejp]

念の為利用規約を確認ください
第14条 (私的利用の範囲外の利用禁止)
承認された場合を除き、サービスを通じて入手したデータは私的利用の範囲を超えて利用できない。また著作物に該当しないデ ータであっても、サービスを通じて入手したものは著作物とみなす。データを多数の者が知りうる状態におく行為はいかなる目的であっても私的利用の範囲を超える利用行為とみなす。

総じて同社の提供するプログラムを解説すると著作権違反で訴えられるリスクがあります。

Answer 1

なぜ戦績テーブルを取得できないのかの理由の説明もお願いします。

こちらについては質問へのコメントとして記載しておきました。

このURLから"日付"の列のデータを取得してprintするプログラムを書いてください(コードを修正する形や新規作成する方法どちらでも歓迎です)

pandas - Python Data Analysis Libraryライブラリにpandas.read_html — pandas 3.0.0 documentationというメソッドがあります。こちらを用いて、HTMLテーブルをPandasのデータフレームとして取得します。

import pandas as pd
import warnings

warnings.filterwarnings('ignore', message='.*Your from_encoding will be ignored.*')

# 設定
horse_id = '2021101134'
TARGET_URL = f'https://db.netkeiba.com/horse/ajax_horse_results.html?id={horse_id}'
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

df = pd.read_html(TARGET_URL, encoding='euc-jp', storage_options=headers)[0]
df.columns = df.columns.str.replace(' ', '')
print(df['日付'])

# 0    2026/01/04
# 1    2025/12/13
# 2    2025/10/25
# 3    2025/09/27
# 4    2024/10/20
# 5    2024/08/18
# 6    2024/06/15
# 7    2024/04/28
# 8    2024/03/09
# Name: 日付, dtype: object

ちなみに、BeautifulSoupでCSSセレクタを利用すると以下の様にも書くことができます。

import requests
from bs4 import BeautifulSoup
import time

# 設定
horse_id = '2021101134'
TARGET_URL = f'https://db.netkeiba.com/horse/ajax_horse_results.html?id={horse_id}'

def get_soup(url):
    """URLからBeautifulSoupオブジェクトを作成する"""
    try:
        time.sleep(1)  # サーバーへの負荷軽減のため待機
        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
        }
        response = requests.get(url, headers=headers)
        response.encoding = "euc-jp"  # netkeibaはeuc-jp
        return BeautifulSoup(response.text, "html.parser")
    except Exception as e:
        print(f"Error fetching {url}: {e}")
        return None

def main():
    print(f"アクセス中: {TARGET_URL}")
    soup = get_soup(TARGET_URL)
    if not soup:
        print("ページの取得に失敗しました。")
        return

    # 戦績テーブルをクラス名で検索
    # class="db_h_race_results" を持つテーブルを取得
    for d in soup.select('.db_h_race_results tr td:first-child'):
        print(d.text)

if __name__ == "__main__":
    main()

Answer 2

Windows 11、Python 3.14.2、requests 2.32.5、beautifulsoup4 4.14.3で確認しました。

melianさんのコメントの通り、このtableは動的に生成されているので、6行目を

TARGET_URL = "https://db.netkeiba.com/horse/ajax_horse_results.html?input=UTF-8&output=html&id=2021101134"

に変更してください。

出力例

アクセス中: https://db.netkeiba.com/horse/ajax_horse_results.html?input=UTF-8&output=html&id=2021101134

--- 日付データの抽出 ---
2026/01/04
2025/12/13
2025/10/25
2025/09/27
2024/10/20
2024/08/18
2024/06/15
2024/04/28
2024/03/09