HTMLの構造上難しくなっているスクレイピングのやり方について

Question

https://www.bleague.jp/schedule/?s=1&tab=2&year=2022&event=7&club=&setuFrom=1
こちらのサイトでスクレイピングを行っています。

試合情報（両チームなど）と試合実施日を取り出したいのですが、

<dt>日付</dt>
<dd>
    <ul>
        <li>試合情報1</li>
        <li>試合情報2</li>
    </ul>
<dt>日付</dt>
<dd></dd>
    <ul>    
        <li>試合情報3</li>
    <ul>

HTMLがこのようになっており、日付に対して試合情報がいくつあるか不定となっています。
試合情報ごとにリスト化していきたく、その中の一要素として日付を加えたいと思っています。

また上記のコードにおける　dd　の要素もいくつあるか不定であり、そのため

match = soup.find('dl',class_=CLASS_NAME)
results = match.find_all('dd',class_=CLASS_NAME)
for i in range(len(results)):
    game_infos = match.find_all('dd',class_=CLASS_NAME)[i]
　

上記のようなコードをすでに書いてあります。
したがって　li　の要素をfind_allで取り出すことができません。
かといってfindだけでは一つの日付に対して一つの試合情報しか取れません。
どうにかして日付の情報を各試合情報に付け加えたいのですが何か方法はありますでしょうか。

Answer 1

単純に先頭から順に走査していきdtだったらその要素を保持しておき、ddだったら配下のliを取得すればよいかと思います。

from bs4 import BeautifulSoup

html = """
<dt>日付1</dt>
<dd>
    <ul>
        <li>試合情報1</li>
        <li>試合情報2</li>
    </ul>
</dd>
<dt>日付2</dt>
<div>hoge</div>
<dd>
    <ul>
        <li>試合情報3</li>
    </ul>
</dd>
<dd>
    <ul>
        <li>試合情報4</li>
    </ul>
</dd>
"""
soup = BeautifulSoup(html, 'html.parser')

for tag in soup.children:
    if tag.name == 'dt':
        dt = tag
    elif tag.name == 'dd':
        for li in tag.find_all('li'):
            print(dt.text, li.text)
"""
日付1 試合情報1
日付1 試合情報2
日付2 試合情報3
日付2 試合情報4
"""

Comments

[asasika_R]

解決いたしました！ありがとうございます。