Python/BeautifulSoupでスクレイピングするときに文字列内にタグがある場合にエラー

Python/BeautifulSoupでスクレイピングしようとしています。

以下のようなタグで、aaaもbbbもcccも取得したい場合はどのようにすればよろしいでしょうか。

HTML
1<div id="child1">aaa<span class="large">bbb</span>ccc</dd>

上のHTMLをスクレイピングしようとすると、bbbは取得できてもaaaやcccは取得できません。

Python
1from bs4 import BeautifulSoup
2
3#変数htmlに上記タグ含んだHTMLが入っているとして
4soup = BeautifulSoup(html, 'html.parser');
5
6d1 = soup.select_one("#child1")
7d2 = soup.select_one("#child1 > .large")
8
9print("d1=" + d1) #TypeError: must be str, not Tag
10print("d2=" + d2) #OK

d1はエラーが出てしまいます。

どうすれば、aaaとcccを取得できるのでしょうか。

よろしくお願いします。

行動規範の内容に同意します

回答1件

ベストアンサー

こんにちは。

以下のように、findAll(text=True)を使うのはいかがでしょうか？

from bs4 import BeautifulSoup

html = '''
<html><body>
<div id="child1">aaa<span class="large">bbb</span>ccc</dd>
</body></html>
'''

soup = BeautifulSoup(html, 'html.parser');

d = soup.select_one("#child1")

print(d.findAll(text=True))

上記を実行すると、以下が出力されます。