HTMLタグの除去Python

Question

Pythonでhtmlのタグなど、普通に読む際に不要なものを除去するコードをなんとなく繋げてみたのですが、なぜか処理されません。

import re
import urllib2

# htmlをurlから取得
fp = urllib2.urlopen('取得するurl')
html = fp.read().decode('shift_jis')
print html
fp.close()

# タグなどの除去
p = re.compile(r"<[^>]*?>")
tag_str = html
p.sub("", tag_str)

htmlの取得まではうまくいくのですが、除去は実行されてないように見えます。
実行環境はMacOSです。

どなたか改善していただけないでしょうか

Answer 1

普通に

import re
import urllib2

# htmlをurlから取得
fp = urllib2.urlopen('取得するurl')
html = fp.read().decode('shift_jis')
print html
fp.close()

# タグなどの除去
# 以下を変更
p = re.sub('<.*?>', '', html)

では駄目ですか?

Answer 2

もしかして

print p.sub("", tag_str)

PythonのStringはimmutable、変更不可です。
関数にStringオブジェクトを渡して書き換えてもらうことはできません。

Answer 3

from HTMLParser import HTMLParser

class MLStripper(HTMLParser):

def __init__(self):
    self.reset()
    # stripしたテキストを保存するバッファー
    self.fed = []

def handle_data(self, d):
    # 任意のタグの中身のみを追加していく
    self.fed.append(d)

def get_data(self):
    # バッファーを連結して返す
    return ''.join(self.fed)

def strip_tags(html):
s = MLStripper()
s.feed(html)
return s.get_data()

Answer 4

HTMLタグの除去に正規表現を使うのは中々難しいのであまりオススメできません。HTML自体は曖昧な文法を許容するため、<li>など開始タグのみで記述されるようなこともあるからです。HTMLからデータを取り出す事をスクレイピングといいますが、Pythonにもいくつかスクレイピング用のライブラリがあるので、そちらを導入してみてはどうでしょう？下記の参考サイトにいくつか紹介されており、かんたんな使い方もまとまっているので一読してみてください。

参考: Pythonでクローリング・スクレイピングに使えるライブラリいろいろ