webスクレイピングでRSSの内容を取得したい

Question

###実現したいこと、発生している問題
社内環境下でwebページ（ロイター記事）のタイトルおよび記事内容のスクレイピングを行いたく、下記のソースコードを書きました。

実行したところ、

<title>記事タイトル</title> <description>［東京 XX日 ロイター］ 記事本文 &lt;div class="feedflare"&gt;&lt;a href="http://以下省略</description>

と表示されました。

<title>や</title>、 <description>や&lt;div class="feedflare"&gt;&lt;a href="http://以下省略</description> といった部分を取り除いて抽出する場合、どのように加筆修正すれば良いでしょうか。

初歩的な質問で恐縮ですが、ご教示いただけますでしょうか。

なお、windows7、Internet Explorer(google chromeは使えません)、python3.6.1を使用しています。

###該当のソースコード
import requests
from bs4 import BeautifulSoup

proxies = {'http':'http://user:password@server:port'}

def getBS(url):
html = requests.get(url, proxies=proxies)
bsObj = BeautifulSoup(html.content, "html.parser")
return bsObj

htmlSource = getBS("http://feeds.reuters.com/reuters/JPBusinessNews")

for link in htmlSource.findAll("item"):
print(link.find("title"))
print(link.find("description"))

Answer 1

BeautifulSoupを使っていれば.textまたは.get_text()でテキストのみ抽出できます。

元データを確認したうえで修正

元データRSS(XML)を確認したところdescription要素内には、本文に加え、<div～</a>のような表示用の要素？がテキストとして含まれていました。
これらはBeautifulSoupでは単なるテキストとして扱われるため、取り除かれません。
ちょっと無理やりですが、description部分をHTMLとみなして解析することで抽出できました。

検証コード

import requests
from bs4 import BeautifulSoup
import re

url = 'http://feeds.reuters.com/reuters/JPBusinessNews'
#url = 'http://feeds.reuters.com/reuters/healthNews'
html = requests.get(url)
root = BeautifulSoup(html.content, 'html.parser')

for link in root.findAll("item"):
    print(link.find("title").text)
    print('-----')
    desc = link.find('description').text
    #print(desc)
    
    # 方法１：HTMLとみなして解析
    desc = BeautifulSoup(desc,'html.parser')
    desc = desc.text.rstrip()
    
    # 方法２：「本文～<div（など表示用の要素）～</a>」→「本文～」を抽出
    # 一部の項目で正規表現が一致しない場合あり
    #desc = re.match(r'(.*)<div',desc).group(1)

    print(desc)
    print('-----')

Comments

[hiroki_0926]

回答ありがとうございます。
<title>や<dedescription>の表示は消えました。
記事本文後の
<div class="feedflare"><a href="http://feeds.reuters.com/~
といったものも消すにはどうしたら良いでしょうか？

[8524ba23]

なんだか元のXMLデータがおかしいですね。ちょっと確認してみます。

[8524ba23]

RSSのデータ構造には疎いのですが、とりあえず正規表現で抽出できました。
description要素のテキストをHTML元データとして、さらにbs4で解析してもよいかもしれません。

[hiroki_0926]

抽出することが出来ました。再解析する手法があるのですね。
どうもありがとうございました。

Answer 2

正規表現を使いましょう。
詳しくは、マニュアル「6.2. re — 正規表現操作」を読んでください。

例えば、こんな感じでしょうか？

import re
print re.match("<title>(.+)</title>", "<title>記事タイトル</title>").group(1)

Comments

[hiroki_0926]

回答ありがとうございます。
マニュアルを読み込んでみたのですが、さっぱりでした。。

具体的にどのように書いたらよいでしょうか？