beautiful soup すぐ下の同レベルのタグの取得について

Question

下記のような構造のhtmlから、各<th>タグの直下の<td>タグを取得したい場合、取得が上手くいかないので教えていただけますでしょうか。下記の方法では出来たのですが、直感的ではないので、thタグのクラスを使って取得したいと考えてます。例えば、単勝のthのすぐ下のtdの2という数字や複勝のthの2番目の下のtdの170という数字を取得したいと考えてます。

取得したいHTMLの構造

<tr> <th class="tan">単勝</th> <td>2</td> <td class="txt_r">450</td> <td class="txt_r">2</td> </tr> <tr> <th align="center" class="fuku">複勝</th> <td>2<br/>5<br/>6</td> <td class="txt_r">170<br/>1,340<br/>310</td> <td class="txt_r">2<br/>12<br/>6</td> </tr> <tr> <th align="center" class="waku">枠連</th> <td>1 - 3</td> <td class="txt_r">1,170</td> <td class="txt_r">5</td> </tr> <tr> <th align="center" class="uren">馬連</th> <td>2 - 5</td> <td class="txt_r">21,850</td> <td class="txt_r">39</td> </tr> </table>

試したこと

上手く行ったやり方

リストの取得

①td_list=html.find_all("td")
②fuku = td_list[0]

上手くいかなかったやり方

上記のような取得の仕方ではなく、
①this_td = html.find("th", class_="fuku")
②fuku = this_td.sibling

のようなやり方でスクレイピングをしたいと思うのですが、エラーになります。

Answer 1

確認しましたが、私の環境では html.find("th", class_='fuku') でも html.find("th", attrs={'class':'fuku'}) も問題なく動作しております。
（下記のサンプル）

ただ、this_td.next_siblings は改行コード\nも一つの要素として取得しているようで、this_td.next_sibling では得られる結果が"\n"となるようです。

個人的には select("th.fuku + td") を使ったほうが簡単に記述できる気がします。

from bs4 import BeautifulSoup
import urllib.request

html_data = """
<tr>
<th class="tan">単勝</th>
<td>
2</td>
<td class="txt_r">450</td>
<td class="txt_r">2</td>
</tr>
<tr>
<th align="center" class="fuku">複勝</th>
<td>2<br/>5<br/>6</td>
<td class="txt_r">170<br/>1,340<br/>310</td>
<td class="txt_r">2<br/>12<br/>6</td>
</tr>
<tr>
<th align="center" class="waku">枠連</th>
<td>1 - 3</td>
<td class="txt_r">1,170</td>
<td class="txt_r">5</td>
</tr>
<tr>
<th align="center" class="uren">馬連</th>
<td>2 - 5</td>
<td class="txt_r">21,850</td>
<td class="txt_r">39</td>
</tr>
</table>
"""

html = BeautifulSoup(html_data, "lxml")

this_td = html.find("th", class_='fuku')
print(list(this_td.next_siblings))
# ['\n', <td>2<br/>5<br/>6</td>, '\n', <td class="txt_r">170<br/>1,340<br/>310</td>, '\n', <td class="txt_r">2<br/>12<br/>6</td>, '\n']

this_td = html.find("th", attrs={'class':'fuku'})
print(list(this_td.next_siblings))
# ['\n', <td>2<br/>5<br/>6</td>, '\n', <td class="txt_r">170<br/>1,340<br/>310</td>, '\n', <td class="txt_r">2<br/>12<br/>6</td>, '\n']

td = html.select("th.fuku + td")
print(td)
# [<td>2<br/>5<br/>6</td>]

Comments

[MitMc]

ご回答ありがとうございます。
td = html.select("th.fuku + td")を使用した場合、直下の１番目のtdは取得できるのですが、２番目を取得したい場合にどうしたら良いでしょうか。
td = html.select("th.fuku + td.txt_r")で取得できると思ったのですが空リストになってしまいました。

[magichan]

select (cssセレクタ)の場合 '+' は隣接している要素となりますので
html.select("th.fuku + td + td")
となるかと思います。

[MitMc]

出来ました。ありがとうございます！

Answer 2

私なら（この構造が前提として）

this_td = html.find("th", class_="fuku")
td_list = this_td.parent.find_all("td")

でtdのリストを得てから取り出しますね。

>>> from bs4 import BeautifulSoup
>>> html = BeautifulSoup("""<tr>
... <th class="tan">単勝</th>
... <td>2</td>
... <td class="txt_r">450</td>
... <td class="txt_r">2</td>
... </tr>
... <tr>
... <th align="center" class="fuku">複勝</th>
... <td>2<br/>5<br/>6</td>
... <td class="txt_r">170<br/>1,340<br/>310</td>
... <td class="txt_r">2<br/>12<br/>6</td>
... </tr>
... <tr>
... <th align="center" class="waku">枠連</th>
... <td>1 - 3</td>
... <td class="txt_r">1,170</td>
... <td class="txt_r">5</td>
... </tr>
... <tr>
... <th align="center" class="uren">馬連</th>
... <td>2 - 5</td>
... <td class="txt_r">21,850</td>
... <td class="txt_r">39</td>
... </tr>
... </table> """, "lxml")
>>> this_td = html.find("th", class_="fuku")
>>> td_list = this_td.parent.find_all("td")
>>> td_list
[<td>2<br/>5<br/>6</td>, <td class="txt_r">170<br/>1,340<br/>310</td>, <td class="txt_r">2<br/>12<br/>6</td>]

Answer 3

テーブルの1行ずつのデータ取りたいってことですかね？
find_all(“tr”)してforとかで回せば取れそうですが試してみたでしょうか？