pythonのBeautifulSoupでbrタグを改行として認識する

Question

前提・実現したいこと

beautifulsoupでwebページのスクレイピングをしています。
あるdivから、<br>などのタグをhtml形式として読み込んだ状態のテキストを取得したいです
(<br>とあったら、改行に変換して取得する)

どうすればいいでしょうか？

発生している問題

例えば下記のソースコードですと、DIVとBRの度に改行されるので、

ここで改行。
ここで改行。
ここで改行。
ここで改行。

という状態のテキストを取得したいです

該当のソースコード

<div class="test">
<DIV>ここで改行。</DIV><DIV>ここで改行。</DIV>ここで改行。<BR>ここで改行
</div>

試したこと

soup.find(class_="test")
→タグごと取得してしまう

soup.find(class_="test").text
→タグを消去して取得してしまう

Answer 1

from bs4 import BeautifulSoup

html = """<div class="test">
<DIV>ここで改行。</DIV><DIV>ここで改行。</DIV>ここで改行。<BR>ここで改行
</div>"""

soup = BeautifulSoup(html, 'html.parser')

print(soup.text)

textやget_textだとソースと同じように改行されるため
結果も改行されずそのまま表示されます。

'\nここで改行。ここで改行。ここで改行。ここで改行\n'

# brタグを改行に置換
soup.br.replace_with("\n")
print(soup.text)

'\nここで改行。ここで改行。ここで改行。\nここで改行\n'

ここで改行。ここで改行。ここで改行。
ここで改行

このままだと前後の改行が残ったままですのでstripで削除

# stripで前後の改行を削除
print(soup.text.strip())

追記

複数の場合

for i in soup.select("br"):
    i.replace_with("\n")
print(soup.text)

Comments

[ryo_0126]

ありがとうございます！
ちなみに<BR>が複数あった場合、soup.br.replace_with("\n")だと最初のBRのみの置換になってしまいますか？

[barobaro]

上記の場合はそうなります。

複数の場合はbrタグ探して置換するだけです。

複数の場合を追記しました。

[ryo_0126]

ありがとうございます！

追記のパターンで一つ質問ですが、
soupのselect結果をiという変数に入れ替えて、その後変数iに対してreplace_withをして置換しているのですが、
どうして最後の行でsoupの中身が書き換わっているのでしょうか？

[barobaro]

詳しいことはわかりませんが

findやselectはsoup全体から分かりやすいように一部を抜き出して表示しているだけなので書き換えるとsoupも書き換わるイメージです。

[ryo_0126]

なるほど、ありがとうございました！
無事に思ってた操作もできました。
非常にわかりやすかったです。

こんな遅い時間までありがとうございました。

Answer 2

word = find('div',class_='test')
words = word.find_all('div')
for word in words:
    print(word.text)

もっと簡潔に書けると思いますが、これで取得できると思います。

Comments

[ryo_0126]

ありがとうございます！
大体イメージ通りです！！

ちなみにこの場合ですと、<BR>が無視されてしまうのですが、
find_all('div')のあとに<BR>を改行コードに置換するしかないでしょうか？

Answer 3

タグごと取得して、文字列置換でタグを改行コードに変換します。