同じ要素の異なる階層のスクレイプについて

HTMLで、最初の階層のdiv要素のclassが"aaa"のものが２つあり、
１つの"aaa"のはさらに下の階層に"bbb"のclassがあります。
"aaa"classのものをダブって取ってきてしまうので、求めている結果もダブってしまいます。

具体的には以下のようなHTMLとpythonのプログラムとその結果です。

HTML

<html>
<head>
<meta charset="UTF-8">
<titlet></title>
</head>
<body>
<div class="aaa">
	<div class="bbb">
		<a href="test01.html">test01です</a>? 
	</div>
</div>
<div class="aaa">
	<a href="test02.html">test02です</a>
</div>
</body>
</html>

python

import requests
from bs4 import BeautifulSoup

load_url = 'http://localhost/python/test_tera06.html'
html = requests.get(load_url)
soup = BeautifulSoup(html.content, "html.parser")
print(html.status_code)

for link_01 in soup.find_all('div', class_= 'bbb'):
	print(link_01.text)
for link_02 in soup.find_all('div', class_= 'aaa'):
		print(link_02.text)

実行結果

test01です
test01です
test02です
＊改行は取り除いています。

やりたいこと

test01です
test02です

としたいのですが、どうすればいいのでしょうか。

Classのfind_allでのand条件ができれば、
例：find_all('div',class_'aaa,bbb')のような指定
と思ったのですが、わかりません。

行動規範の内容に同意します

回答2件

ベストアンサー

やりたいことが質問に明記されていませんが、「divの直下にあるaのテキストを得たい。直下で無い孫以下のaは得たくない」と言うことなら、CSSセレクターを使えるselectを使うのが楽です。

Python
1for link_01 in soup.select('div.bbb > a'):
2	print(link_01.text)
3for link_02 in soup.select('div.aaa > a'):
4	print(link_02.text)

aのテキストを取っているので、divの内側でaの外にある改行や空白は含まれませんが。

投稿2022/07/14 13:44

otn

総合スコア86208

idkohhi

2022/07/15 04:51

早速お返事ありがとうございます。select使うと楽でシンプルですね。find,find_Allを勉強し使ってました。これを機会にselect使ってみます。ありがとうございました。

行動規範の内容に同意します

やり方は色々とあると思いますが、以下が考えられます(今回の場合ですと結果は同じになります)
test01, test02がaタグなのでそもそもaタグから取ってくる(やり方1)
test01はdivが２階層になっているので、それで判定する(やり方2)
test01のdiv class="aaa"で子要素のdiv class="bbb"で判定する(やり方3)

python
1from bs4 import BeautifulSoup
2
3html_doc = """
4<html>
5<head>
6<meta charset="UTF-8">
7<titlet></title>
8</head>
9<body>
10<div class="aaa">
11	<div class="bbb">
12		<a href="test01.html">test01です</a>? 
13	</div>
14</div>
15<div class="aaa">
16	<a href="test02.html">test02です</a>
17</div>
18</body>
19</html>
20"""
21
22soup = BeautifulSoup(html_doc, features="html.parser")
23
24# やり方1
25print("----やり方1----")
26for link in soup.find_all("a"):
27    print(link.text)
28
29# やり方2
30print("----やり方2----")
31for link in soup.find_all("div", class_="aaa"):
32    if link.div is not None:
33        print(link.div.a.text)
34    else:
35        print(link.a.text)
36
37# やり方3
38print("----やり方3----")
39for link in soup.find_all("div", class_="aaa"):
40    if link.div is not None:
41        class_list = link.div.get("class")
42        if (class_list is not None) and ("bbb" in class_list):
43            print(link.div.a.text)
44    else:
45        print(link.a.text)
46