Pythonスクレイピング：同じ名前のクラス内での識別

Question

すみません、質問させてください。
同じクラスが複数存在しているときにどうにかして識別できる方法はないでしょうか？

<div class = "AAA"> <p class ="BBB">XXX</p> <p> YYY </p> <div class = "AAA"> <p class = "BBB">ZZZ</p> <p>WWW</p>

上記のような場合にWWWのみを抜き出すことは可能でしょうか？
BeautifulSoupを使ってやってます。
皆さんのお知恵を貸してください。
宜しくお願い致します。

Answer 1

cssセレクタを使った方法です。

# -*- coding: utf8 -*-
from bs4 import BeautifulSoup


def main() -> None:
    xml_str = """
    <div class = "AAA">
    <p class ="BBB">XXX</p>
    <p> YYY </p>
    </div>
    <div class = "AAA">
    <p class = "BBB">ZZZ</p>
    <p>WWW</p>
    </div>
    """
    soup = BeautifulSoup(xml_str, "html.parser")
    elements = soup.select("div.AAA > p:nth-of-type(2)")
    # elements -> [<p> YYY </p>, <p>WWW</p>]
    target = elements.pop()
    print(target.text)
    # index指定
    target = soup.select("div.AAA > p:nth-of-type(2)")[1]
    # target -> <p>WWW</p>
    print(target.text)

if __name__ == '__main__':
    main()

◇参考情報
Beautiful Soup 4.2.0 Doc. 日本語訳

Comments

[LowLow]

回答ありがとうございます。とても分かりやすく勉強になりました！ありがとうございました。

Answer 2

beautiful soupだと下記のようにしてできました。
もっとスマートな方法があればよいですけど。

from bs4 import BeautifulSoup

xml_str = """
<div class = "AAA">
<p class ="BBB">XXX</p>
<p> YYY </p>
</div>
<div class = "AAA">
<p class = "BBB">ZZZ</p>
<p>WWW</p>
</div>
"""

soup = BeautifulSoup(xml_str, "html.parser")
elems = soup.find_all("div", class_="AAA")
for elem in elems:
    ps = elem.find_all("p")
    if ps[0].text == "ZZZ":
        print(ps[1].text)

Comments

[LowLow]

早速の解凍ありがとうございました。非常に勉強になりました。ありがとうございます。

Answer 3

xpathを使ってください。

beautiful soupは知らないので、とりあえずlxmlでやった例。

# coding: UTF-8

from lxml import etree

xml_str = """<xml>
<div class = "AAA">
<p class ="BBB">XXX</p>
<p> YYY </p>
</div>
<div class = "AAA">
<p class = "BBB">ZZZ</p>
<p>WWW</p>
</div>
</xml>"""

root = etree.fromstring(xml_str)
e = root.xpath("//div[@class='AAA' and p[@class='BBB' and text()='ZZZ']]/p[2]")
print(etree.tostring(e[0]).decode())

"""出力結果
<p>WWW</p>

"""

Comments

[LowLow]

ありがとうございます。CSSセレクタのみでなくXpathももっと勉強します！