python スクレイピング

https://keiba.rakuten.co.jp/race_performance/list/RACEID/202105142726040301から出走馬の人気をスクレイピングを行った際いらない部分までスクレイピングしてしまいます。
人気だけ取り出せるようにするにはどのようにすればよいでしょうか？
ご教授お願いいたします。
rank_list[0:9]とすると出走頭数が変化すると対応できません。

python
1#人気
2rank = soup.find_all("td", class_="rank")
3rank_list = []
4for rank_1 in rank:
5    rank_1 = rank_1.get_text()
6    rank_list.append(rank_1)

下から９行が余計に取り出してしまう部分
[<td class="rank">1</td>,

<td class="rank">5</td>, <td class="rank">3</td>, <td class="rank">4</td>, <td class="rank">6</td>, <td class="rank">8</td>, <td class="rank">2</td>, <td class="rank">9</td>, <td class="rank">10</td>, <td class="rank">7</td>, <td class="rank">1番人気</td>, <td class="rank">7番人気</td>, <td class="rank">1番人気<br/>5番人気<br/>2番人気</td>, <td class="rank">4番人気<br/>1番人気<br/>9番人気</td>, <td class="rank">1番人気</td>, <td class="rank">5番人気</td>, <td class="rank">-</td>, <td class="rank">20番人気</td>, <td class="rank">5番人気</td>]

取り出したい部分

html
1</thead>
2<tbody class="record">
3<tr class="box08" data-grouping="9">
4<td class="order">1</td>
5<th class="position" scope="row">8</th>
6<td class="number">9</td>
7<td class="horse">
8<a href="https://keiba.rakuten.co.jp/horse_detail/detail/HORSEID/1120160663" target="_blank">
9                        アグネスフォース
10                    </a>
11</td>
12<td class="state">牡7
13                    /鹿毛</td>
14<td class="weightTax">56.0</td>
15<td class="weight">
16                    506<br/>±0
17                </td>
18<td class="jockey">
19                        川原正<br/>
20                        (園田)
21                    </td>
22<td class="time">1:33.8</td>
23<td class="lead">
24</td>
25<td class="spurt">40.3</td>
26<td class="tamer">稲田彰</td>
27<td class="rank">1</td>
28</tr>
29<tr class="box07" data-grouping="7">
30<td class="order">2</td>
31<th class="position" scope="row">7</th>
32<td class="number">7</td>
33<td class="horse">
34<a href="https://keiba.rakuten.co.jp/horse_detail/detail/HORSEID/220180081" target="_blank">
35                        クイーンソネラ
36                    </a>
37</td>
38<td class="state">牝5
39                    /芦毛</td>
40<td class="weightTax">51.0</td>
41<td class="weight">
42                    440<br/>±0
43                </td>
44<td class="jockey">
45                        ▲大山龍<br/>
46                        (西脇)
47                    </td>
48<td class="time">1:33.9</td>
49<td class="lead">
50                                            ３／４
51                                    </td>
52<td class="spurt">40.7</td>
53<td class="tamer">高馬元</td>
54<td class="rank">5</td>
55</tr>
56

無駄に取りだしてしまう部分

html
1</tbody>
2</table>
3<h3 class="headline">
4<span>■</span>払戻金
5</h3>
6<table cellspacing="0" class="contentsTable" summary="払戻金">
7<tbody class="repay">
8<tr>
9<th scope="row">単勝</th>
10<td class="number">9</td>
11<td class="money">270 円</td>
12<td class="rank">1番人気</td>
13<th scope="row">馬単</th>
14<td class="number">9-7</td>
15<td class="money">1,890 円</td>
16<td class="rank">7番人気</td>
17</tr>
18<tr class="even">
19<th scope="row">複勝</th>
20<td class="number">9<br/>7<br/>3</td>
21<td class="money">110 円<br/>210 円<br/>120 円</td>
22<td class="rank">1番人気<br/>5番人気<br/>2番人気</td>
23<th scope="row">ワイド</th>
24<td class="number">7-9<br/>3-9<br/>3-7</td>
25<td class="money">390 円<br/>240 円<br/>580 円</td>
26<td class="rank">4番人気<br/>1番人気<br/>9番人気</td>
27</tr>
28<tr>
29<th scope="row">枠複</th>
30<td class="number">7-8</td>
31<td class="money">410 円</td>
32<td class="rank">1番人気</td>
33<th scope="row">三連複</th>
34<td class="number">3-7-9</td>
35<td class="money">1,450 円</td>
36<td class="rank">5番人気</td>
37</tr>
38<tr class="even">
39<th scope="row">枠単</th>
40<td class="number">-</td>
41<td class="money">-</td>
42<td class="rank">-</td>
43<th scope="row">三連単</th>
44<td class="number">9-7-3</td>
45<td class="money">8,230 円</td>
46<td class="rank">20番人気</td>
47</tr>
48<tr>
49<th scope="row">馬複</th>
50<td class="number">7-9</td>
51<td class="money">1,310 円</td>
52<td class="rank">5番人気</td>
53<th scope="row"></th>
54<td class="none" colspan="3"></td> </tr>
55<tr>
56<th scope="row">備考</th>
57<td colspan="7">
58             
59    </td>
60</tr>
61</tbody>
62</table>

行動規範の内容に同意します

回答2件

ベストアンサー

BeautifulSoupによるデータ抽出は、BeautifulSoupで取り出した要素から更に細かく取ることが出来ます。
全体から頑張って取り出そうとするのではなく、範囲を絞ってから取るようにすると、適切な取り出しがしやすくなります。

例えば、URLの中身をもとに着順データだけが欲しい場合、「着順のテーブル」だけに一度絞り込むと取り出しやすくなります。

python
1from urllib.request import urlopen
2from bs4 import BeautifulSoup
3
4resp = urlopen("https://keiba.rakuten.co.jp/race_performance/list/RACEID/202105142726040301")
5soup = BeautifulSoup(resp.read(), "html.parser")
6
7# 一度、着順情報があるテーブルだけを取り出す
8table = soup.find("table", class_="dataTable")
9# HTML全体ではなく、上記テーブルのみから、条件を満たす要素を取り出す
10rank = table.find_all("td", class_="rank")

[<td class="rank">1</td>, <td class="rank">5</td>, <td class="rank">3</td>, <td class="rank">4</td>, <td class="rank">6</td>, <td class="rank">8</td>, <td class="rank">2</td>, <td class="rank">9</td>, <td class="rank">10</td>, <td class="rank">7</td>]

投稿2021/05/23 03:22

attakei

総合スコア2738

rikuanpg9294

2021/05/23 03:28

すごくわかりやすく助かりました。ありがとうございます。

行動規範の内容に同意します

PYthon
1soup.find("tbody",class_="record").find_all("td",class_="rank")

でしょう。

変数名は、英単語の複数形を使って書いた方が良いと思います。

Python
1ranks = soup.find("tbody",class_="record").find_all("td",class_="rank")
2rank_list = []
3for rank in ranks:
4    rank_list.append(rank.get_text())

あるいは、

Python
1rank_list = [rank.get_text() for rank in soup.find("tbody",class_="record").find_all("td",class_="rank")]

投稿2021/05/23 03:35

otn

総合スコア84798

あなたの回答

tips

プレビュー

行動規範の内容に同意します

質問の解決につながる回答をしましょう。サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。また、読む側のことを考えた、分かりやすい文章を心がけましょう。

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.46%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう！

python スクレイピング

関連した質問