競馬のスクレイピング

Question

予想する地方競馬の出馬表をスクレイピングを行った際以下のようなエラーが発生しました。
なぜ範囲外になるかが分かりません。
どのように書き換えれば上手くいくかご教示ください。よろしくお願いいたします。

race_id_list = "202130051304"
st = ShutubaTable.scrape(race_id_list, '2021/5/13')

---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
<ipython-input-18-da19651b9347> in <module>
      1 race_id_list = "202130051304"
----> 2 st = ShutubaTable.scrape(race_id_list, '2021/5/13')

<ipython-input-9-ff97b4e36758> in scrape(cls, race_id_list, date)
     20             for text in texts:
     21                 if 'm' in text:
---> 22                     df['course_len'] = [int(re.findall(r'\d+', text)[0])] * len(df)
     23                 if text in ["曇", "晴", "雨", "小雨", "小雪", "雪"]:
     24                     df["weather"] = [text] * len(df)

IndexError: list index out of range

class ShutubaTable(DataProcessor):
    def __init__(self, shutuba_tables):
        super(ShutubaTable, self).__init__()
        self.data = shutuba_tables
    
    @classmethod
    def scrape(cls, race_id_list, date):
        data = pd.DataFrame()
        for race_id in tqdm(race_id_list):
            url = 'https://nar.netkeiba.com/race/shutuba.html?race_id=' + race_id #narに変更
            df = pd.read_html(url)[0]
            df = df.T.reset_index(level=0, drop=True).T

            html = requests.get(url)
            html.encoding = "EUC-JP"
            soup = BeautifulSoup(html.text, "html.parser")

            texts = soup.find('div', attrs={'class': 'RaceData01'}).text
            texts = re.findall(r'\w+', texts)
            for text in texts:
                if 'm' in text:
                    df['course_len'] = [int(re.findall(r'\d+', text)[0])] * len(df)
                if text in ["曇", "晴", "雨", "小雨", "小雪", "雪"]:
                    df["weather"] = [text] * len(df)
                if text in ["良", "稍重", "重"]:
                    df["ground_state"] = [text] * len(df)
                if '不' in text:
                    df["ground_state"] = ['不良'] * len(df)
                # 2020/12/13追加
                if '稍' in text:
                    df["ground_state"] = ['稍重'] * len(df)
                if '芝' in text:
                    df['race_type'] = ['芝'] * len(df)
                if '障' in text:
                    df['race_type'] = ['障害'] * len(df)
                if 'ダ' in text:
                    df['race_type'] = ['ダート'] * len(df)
            df['date'] = [date] * len(df)

            # horse_id
            horse_id_list = []
            horse_td_list = soup.find_all("td", attrs={'class': 'HorseInfo'})
            for td in horse_td_list:
                horse_id = re.findall(r'\d+', td.find('a')['href'])[0]
                horse_id_list.append(horse_id)
            # jockey_id
            jockey_id_list = []
            jockey_td_list = soup.find_all("td", attrs={'class': 'Jockey'})
            for td in jockey_td_list:
                jockey_id = re.findall(r'\d+', td.find('a')['href'])[0]
                jockey_id_list.append(jockey_id)
            df['horse_id'] = horse_id_list
            df['jockey_id'] = jockey_id_list

            df.index = [race_id] * len(df)
            data = data.append(df)
            time.sleep(1)
        return cls(data)
             

Answer 1

前提

該当のURLはクエリパラメータにrace_idが値付きで指定されていれば、
そのIDでレース情報を取得して表示します。

指定したIDが間違っていた場合、別にエラーなどが出るわけでなく、
データが空っぽなガワだけのレスポンスを返します。

問題点

>>> race_id_list = ['2020010106{}'.format(str(i).zfill(2)) for i in range(1, 13, 1)]
>>> race_id_list
['202001010601', '202001010602', '202001010603', '202001010604', '202001010605', '202001010606', '202001010607', '202001010608', '202001010609', '202001010610', '202001010611', '202001010612']

質問文にあるコードをもとにrace_idを生成すると上記のようになりますが、ID=202001010601のレースは存在しません。
そのため、前述の通り「ガワだけ」のレスポンスになっています。（実例）

そのため、正常なデータのみを前提にしている場合パースに失敗します。

※ちなみに、おそらくIDのフォーマット的にそもそも最初の生成から間違っている気がします

どうするべきか

• 正しいIDを生成する
• データが正しくない場合にスキップする

まずは、サイトのURL情報を見回って、IDがどういうルールで生成されているかを確認したほうがいいでしょう。
その上で、とりたいデータのIDを作る必要があります。

また、イレギュラーなケースがあれば正しいロジックの途中でも同じ現象が発生することがあります。
事前に、「レスポンスは正しくレース結果を含むか」を判断できる処理を用意したほうがいいでしょう。

Comments

[rikuanpg9294]

ご指摘された問題点のところを変更し、１レース分を取り出したのですが同じエラーが出てしまいました。

"202130051304"のレースidを確認したところ、データは空ではありませんでした。

スクリーンショットの様に行うと、データは取り出されている様に見えるのですが、classで行うとエラーは改善されません。

[attakei]

race_id_list = "202130051304"
だと文字列型なので、スクレイピング処理において 2, 0, 2, 1, 3, 0, 0, 5, 1, 3, 0 , 4 に分割してループされると思います。
真っ先に、ループ内でURLなどをprintするようにして「このプログラムがどこからデータを取るようにしているか」の把握をしたほうが良さそうです。
おそらく、race_id=2でアクセスしようとしてます

その上で、元々の処理的にrace_id_list が持つべきなのはrace_idのリストなので、 ["202130051304"]としたほうが良いでしょう。

[rikuanpg9294]

ありがとうございます。