テキストだけスクレイピングする方法が分からない。

Question

前提・実現したいこと

YahooニュースのニュースタイトルをLINEで通知するプログラミングを作ろうと思っているのですが、テキストのみ抜き出す方法が分からず、ご教示いただけますと幸いです。

該当のソースコード

import requests
import urllib.request as urlreq
from bs4 import BeautifulSoup
 
r = requests.get("https://news.yahoo.co.jp/")
url = []

soup = BeautifulSoup(r.content, "html.parser")
yaho = soup.find_all("a")
#aタグの部分の内容を確認
print(yaho)

for script in yaho:
    # "主要"ニュースのタイトルを取ってくるにはどうしたらよい？
    x = script.get("？")
    url.append(x)

line_notify_token = '自分のID'
line_notify_api = 'https://notify-api.line.me/api/notify'
message = url


payload = {'message': message}
headers = {'Authorization': 'Bearer ' + line_notify_token}  # 発行したトークン
line_notify = requests.post(line_notify_api, data=payload, headers=headers)

Answer 1

Yahoo!ニュースは RSS が用意されているのでそちらを使用するのが適切です。

Yahoo!ニュース RSS

Answer 2

find_allでaタグとるのではなく、main topicをcssセレクタでとるのはいかがでしょうか？

title_list = []
main_topics = soup.select("#contentsWrap > section.topics > div > div > div > ul > li")

for main_topic in main_topics:
    title = main_topics.text
    title_list.append(title)

Comments

[Yushishi]

返信が遅れ、大変申し訳ございません。。。
このようなやり方があるとは知りませんでした。有難うございます！