PythonでWebスクレイピングを行うと文字化けします。

Question

pythonでWebスクレイピングを行おうとしているのですが、出力が文字化けします。
下記のコードが文字化けしている出力です。sucraping_naver.pyのファイルを実行しているのですが、上側に文字が化けて出現します。

ɓü‚è‚Ü‚·Bl/html/__init__.py", line 866ĂёIo‚³‚ê‚Ü‚µ‚½B’¼‚¿‚É‘æ3ŽŸ“àŠt‚Ì‘gŠt
(py2) user@user-CF-SX1GE2DC:~/py2/garbage$ ml)
TypeError: ex‘‰ï‚ŁA‘æ97‘ã‚Ì“àŠt‘es-like object
(py2) ‘åb‚Ío@user-CF-SX1GE2DC:~/py2/garbage$ python sucraping_naver.py
@À”{‘

コードは下記です。

import lxml.html
import cssselect
import requests

target_url = 'http://news.tv-asahi.co.jp/news_politics/articles/000041338.html'
target_html = requests.get(target_url).text
root = lxml.html.fromstring(target_html)
n = root.cssselect("#news_body > p")[0].text
print(n)

参考にしたのは下記のサイトです。
http://qiita.com/beatinaniwa/items/72b777e23ef2390e13f8

文字化け対策のサイトもいろいろとググッてみたのですが、修正できませんでした。
http://ja.stackoverflow.com/questions/11182/python%E3%81%A7web%E3%82%B5%E3%82%A4%E3%83%88%E3%81%8B%E3%82%89%E3%81%AEhtml%E5%8F%96%E5%BE%97%E3%82%92%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F%E3%81%8C%E6%96%87%E5%AD%97%E5%8C%96%E3%81%91%E3%81%97%E3%81%BE%E3%81%99

どうすれば文字化けを修正できるのでしょうか？

Comments

[argius]

Python3を使う選択肢は無いですか？

[doz13189]

Python3を使っています！
バージョンはPython 3.5.2です。

[argius]

承知しました。出力結果にpy2とあったので、Python2系をお使いかと思ったのですが、Python3なんですね。バージョンは質問に書いておいていただけると回答しやすくなりますので、よろしくお願いします。

[argius]

タグにPython3を付けてもOKです。

[doz13189]

次からそうします。ありがとうございます。

Answer 1

単にスクレイピングができれば良いのでしたら、
lxml.htmlとcssselectを使うよりも、
最近はBeautifulSoupというパーサーモジュールの方が人気があるので、そちらを使った方が良いかもしれません。
HTMLを取得する処理は、標準モジュールのurllib.requestモジュールにします。
これらを組み合わせて使います。

Windows7(64bit), Python3.5.2+Anaconda4.1.1で確認しましたが、上手く本文の<p>タグが取れました。

import urllib
from bs4 import BeautifulSoup

target_url = 'http://news.tv-asahi.co.jp/news_politics/articles/000041338.html'
html = urllib.request.urlopen(target_url).read()
soup = BeautifulSoup(html, "lxml")

n = soup.select("#news_body > p")[0]
print(n)

Comments

[doz13189]

そうします！ご丁寧にありがとうございます！！

Answer 2

これでどうでしょうか？

target_html = requests.get(target_url)
target_html.encoding = target_html.apparent_encoding
root = lxml.html.fromstring(target_html.text)

Comments

[doz13189]

回答ありがとうございます！
回答いただいたコードで試してみたものの、ダメでした。。。
同じように文字化けしてしまいました。。。