このサイトのスクレイピングを教えてください。beautifusoup python

Question

http://race.netkeiba.com/?pid=payback_list&id=p2018050301
このサイトの勝馬の全レースの単勝人気をスクレイピングで取得したいのですがうまくいきません。

１レース目のタグにはクラスがあって出来たのですが、２レース目のタグにはクラスがなく、上手くいきません。
1レース目の勝馬の単勝人気を取得したコードを下記に記します。
２レース目には同様のクラスがなく、取得できません。

取得方法をコードとともに教えてください。

import urllib.request
from bs4 import BeautifulSoup
#指定するURL
url = "http://race.netkeiba.com/?pid=payback_list&id=p2018050301"

html = urllib.request.urlopen(url)
soup = BeautifulSoup(html, "html.parser")
print(soup)

market = soup.find('td', class_='cellcolor_1')
market
print(market.text)

Answer 1

market = soup.find('td', class_='cellcolor_1')

クラス指定が列:人気を取得するコードになっていますが・・・

◇スクレイピングの基本。
取得したい要素の上位のタグから下に手繰っていく。
HTMLのセレクタ指定と発想は同じです。

# -*- coding: utf-8 -*-
from urllib.request import urlopen
from bs4 import BeautifulSoup


def main() -> None:
    # 指定するURL
    URL = "http://race.netkeiba.com/?pid=payback_list&id=p2018050301"
    html = urlopen(URL)
    soup = BeautifulSoup(html, "html.parser")
    print(soup)

    for table in soup.find_all('table', class_='race_table_01'):
        for val in table.find_all('td', class_='txt_r'):
            print(val.text)
            break


if __name__ == '__main__':
    main()

◇参考情報
[netkeiba] の検索結果

---

218/06/10追記

# -*- coding: utf-8 -*-
from itertools import filterfalse
from urllib.request import urlopen
from bs4 import BeautifulSoup


def main() -> None:
    # 指定するURL
    URL = "http://race.netkeiba.com/?pid=payback_list&id=p2018050301"
    html = urlopen(URL)
    soup = BeautifulSoup(html, "html.parser")
    print(soup)
    print('#' * 60)

    for tr in soup.select("table.race_table_01 > tr.bml1"):
        for rank in filterfalse(lambda x: x.renderContents().decode() != "1", tr.select("td:nth-of-type(1)")):
            for popular in tr.select("td:nth-of-type(12)"):
                print(popular.renderContents().decode())
                break
        # filterfalseは以下の行と同じです
        #for rank in tr.select("td:nth-of-type(1)"):
        #    if rank.renderContents().decode() != "1":
        #        continue
        #    for popular in tr.select("td:nth-of-type(12)"):
        #       print(popular.renderContents().decode())
        #        break


if __name__ == '__main__':
    main()

◇参考情報
0. itertools.filterfalse
0. Pythonスクレイピング：同じ名前のクラス内での識別
0. :nth-of-type()

Comments

[MitMc]

早速のご回答ありがとうございます。私の質問が間違っていました。申し訳ございません。勝馬のオッズ情報ではなく、その隣の何番人気（着順テーブルの右端）が来たかの情報を取得したいのですが、上記コードの'txt_r'のようにクラスがないので、そのような場合、どのようなコードになるでしょうか？

[umyu]

＞MitMcさんへ
質問が間違ってたというのであれば、他の回答者さんが質問を見たときに誤解が発生する可能性があるので、質問文は修正できるので修正してくださいな。

[MitMc]

質問修正できました。
ありがとうございます。

[MitMc]

回答誠にありがとうございます。実際に求めた値が抽出できました。
ちなみに、 # if rank.renderContents().decode() != "1":
# continue
# for popular in tr.select("td:nth-of-type(12)"):
のところを、
if rank.renderContents().decode() = "1":
# for popular in tr.select("td:nth-of-type(12)"):

に書き換えると、エラーになるのはなぜでしょうか？
どちらも同じ意味になる気がするのですが。

[umyu]

＞MitMcさんへ
いえ、=ひとつなので、代入文になってます。==です。
if文を使うとインデントが深くなってコードが読みづらくなるので、できるだけ条件を反転させたほうがよいですよ。あとエラーになったら、できるだけエラー文言を記載してくださいな。

[MitMc]

凡ミスすみません。エラー文も次回から記載します。ほんとに助かります。ありがとうございます。

Answer 2

適当なclassやidが無い場合は、何番目のタグかとか、目印になるテキストとかを探して使います。

Comments

[MitMc]

ご回答ありがとうございます。目印になるテキストを使用して、スクレイピングするにはどうした良いのでしょうか？