スクレイピング <br>内のテキスト取得

Question

前提・実現したいこと

jupyter notebookを使ってスクレイピングを試みています。
＊初心者です。

取得したい情報は、

<tr> <td class="cell_white" valign="top" width="400"><p>（東京、一般標準タイプ、需要家渡し、１kg、90～150日手形）<br/><br/>高密度PE（粒状、一般フィルム用）　　　212-232円<br/>低密度PE（〃、〃）　　　　　　　　　　222-252円<br/>　　〃　　（〃、その他用）　　　　　　232-252円<br/>PP　　　（〃、雑貨向け）　　　　　　　222-262円<br/>GPPS　（〃、〃）　　　　　　　　　　　197-213円<br/>HIPS　（〃、〃）　　　　　　　　　　　267-287円<br/>ABS　　（〃、成型用）　　　　　　　　 300-340円<br/>PA6　　（〃、〃）　　　　　　　　　　 330-380円<br/>PA66　（〃、〃）　　　　　　　　　　　450-500円<br/>POM　　（〃、〃）　　　　　　　　　　 290-320円<br/>PC　　　（〃、〃）　　　　　　　　　　400-440円<br/>変性PPE　　　　　　　　　　　　　　　 470-520円<br/>PBT　　（〃、〃）　　　　　　　　　　 380-430円<br/><br/>※上記内容についてのお問合せにはお応えできませんので<br/>　悪しからずご了承ください。<br/><br/>2020年1月9日（木）日本経済新聞より</p></td> <td class="cell_white" width="200"><p></p></td> </tr> のうちの数値の部分(222-262など)です。

どのようにすれば、<br>内のテキストのみを取得できるでしょうか。
まったくの初心者ですので、お手柔らかにお願いします。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

import urllib.request
from bs4 import BeautifulSoup
import re

url = "http://www.daikenkasei.com/news/aydiary.php"
f = urllib.request.urlopen(url, timeout=1)
html = f.read().decode('utf-8')

soup = BeautifulSoup(html, "html.parser")

試したこと

def filter_br_pe(tag):
if tag.name == 'br' and tag.text == 'PP':
return True
return False

soup = BeautifulSoup(html, 'html.parser')
print(soup.find(filter_br_pe))

いくつかウェブを参考にトライしてみましたが、うまくいきませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[kyoya0819]

<br/>内とは？

[KatsuTake]

数値の部分(222-262など)の部分を取得したと思っております。
なぜか投稿させていただいたときに、いくつか文章が欠落していました。

Answer 1

数値の部分が欲しいとなると下のコードのget_price_range関数が
抽出処理をしている関数です。正規表現で抜いています。

import re
import urllib.request

from bs4 import BeautifulSoup


def get_price_range(text):
    price_list = re.findall("[0-9]+-[0-9]+円", text)
    price_list = [price.strip("円").split('-') for price in price_list]
    return [tuple(map(int, price_range)) for price_range in price_list]
    
    
def main():
    url = "http://www.daikenkasei.com/news/aydiary.php"
    f = urllib.request.urlopen(url, timeout=1)
    html = f.read().decode('utf-8')
    soup = BeautifulSoup(html, "html.parser")
    
    paragraph = soup.find_all("p")
    for p in paragraph:
        price_list = get_price_range(p.get_text())
        if price_list:
            print("=-" * 16)
            import  pprint
            pprint.pprint(price_list)
            
            
if __name__ == "__main__":
    main()
    

Comments

[KatsuTake]

誠にありがとうございます。
書いてくださったコードを解釈することにまだ時間を要しますが、
必要な情報は取得することができました。
重ねて御礼申し上げます。

Answer 2

<br/>は改行のことなので、中身という概念がありません。
HTMLを読む限り、<p>タグの中のテキストを読み込みたい、という要求かと思います。
なので、検索対象はpになります。

少し大雑把な書き方になりますが、このようにすればとりあえず取得はできると思います。

import urllib.request
from bs4 import BeautifulSoup

url = "http://www.daikenkasei.com/news/aydiary.php"
f = urllib.request.urlopen(url, timeout=1)
html = f.read().decode('utf-8')

soup = BeautifulSoup(html, "html.parser") 

tags = soup.find_all("p")
for i in tags:
  print('text:{}'.format(i.decode_contents(formatter="html").replace('<br/>','\n'))) 

以下の処理でpタグを取得しています。

tags = soup.find_all("p")

もちろんこれだとpタグは全部とってきてしまうので、不要な情報も取得しているかもしれません。
その場合はtdタグを対象にするか、xpathで取得するなど、他の方法を検討されてみてはいかがでしょうか？

Comments

[KatsuTake]

ありがとうございます。
おかげさまで、必要なテキストをまとめて、取得することができました。
わかりやすい説明も加えてくださり、感謝しております。