python beautifulsoupのパースについて

Question

python beautifulsoup について。
request.getでrssを取得したあと、beautifulsoupでパースすると、
もともと <link>xxxxxxxx</link> となっているところが、 </link>xxxxxxxx
となってしまうため、 link を抽出できなくて困っています。
具体的には下記のような感じです。

---

import requests
import bs4

r = requests.get('http://alfalfalfa.com/index.rdf')
soup = bs4.BeautifulSoup(r.text,"html.parser")
link = str(soup('link')[1].string)

上記だと、結果が None になってしまいます。
理由は上記にも書きましたが、 print(soup.text)でパース後のrssを見てみると、

<link></link>の部分が正しくパースされておらず、</link>だけになっているためです。

パースの仕方が悪いのでしょうか。
ご教示のほど、何卒宜しくお願いします。

Answer 1

RSSならfeedparserで読み込めばいいです

Python, feedparserでRSS, Atomフィードを解析
https://note.nkmk.me/python-feedparser-tutorial/

Comments

[anonymous-man]

ありがとうございます。
無事解決できそうです。

Answer 2

RSS は HTML ではなく、XML なので、Beautiful Soup のパーサーには "html.parser" ではなく、"xml" を指定するべきではないでしょうか。

import bs4
import requests

r = requests.get("http://alfalfalfa.com/index.rdf")
# lxml が必要、なければ pip install lxml でインストールできる。
soup = bs4.BeautifulSoup(r.text, "xml")

print(soup.find_all("link"))