BeautifulSoupにおいて「select_one」の指定がうまくいかないです

Question

BeautifulSoupを使用し、WordPressバージョンリリースページから、最新リリースバージョンを取得したいのですが、うまくいきません。
以下の形で試してみましたが、print(wp_version)こちらの結果は「None」となってしまいました。しかし、soup.select_one("table.latest")こちら記法の場合は、要素が取得出来ています。

        soup = BeautifulSoup(response.content, "lxml")
        wp_version = soup.select_one("table.latest tbody tr td")
        print(wp_version)

どのようにして、ワードプレスのバージョン(5.6)を取得すれば良いか分からない為、どなたかご助言頂けましたら幸いです。

Answer 1

実際のページのソースを見ると、該当するテーブルにはtbody要素がありません。そのため、select_oneで指定するセレクタにtbodyを含めると見つからない(None)になるのでしょう。

import requests
from bs4 import BeautifulSoup

target_url = "https://ja.wordpress.org/download/releases/"

r = requests.get(target_url)
r.encoding = r.apparent_encoding

soup = BeautifulSoup(r.text, 'lxml')
wp_version = soup.select_one("table.latest tr td").get_text()
print(wp_version)

5.6

Comments

[ruuuu]

ご回答ありがとうございます。
デベロッパーツールでは「tbody」があったのですが、実際のソースとは違っている場合もあるのですね。

[Daregada]

tbodyは(条件を満足すれば)記述を省略できます。デベロッパーツールは、省略されたtbodyを補完して表示します。
BeautifulSoupがパースするのは、requestsが取得した「実際の(静的な)ソースコード」なので、ブラウザーの「ページのソースを表示」機能などを使って、実際に書かれている構造を確認してセレクターを指定しないといけません。

[ruuuu]

ご丁寧に教えて頂きありがとうございます。
> tbodyは(条件を満足すれば)記述を省略できます。デベロッパーツールは、省略されたtbodyを補完して表示します。
こちら、納得いたしました。

Answer 2

tbodyは無いようなので、"table.latest tr td"ですかね。

Comments

[ruuuu]

ご回答ありがとうございます。
>tbodyは無いようなので、"table.latest tr td"ですかね。
こちら、デベロッパーツールでは「tbody」があったのですが、実際のソースでは表示されていない、ということもあるのですね

[otn]

そもそもデベロッパーツールじゃなくて、ソースを見ましょう。