python lxml で htmlパース

Question

###前提・実現したいこと
pythonでhtmlをパースしたい

###発生している問題・エラーメッセージ
(1)
[u'\u897f']
と表示される。("西南西"等の日本語の方角を期待していた)

(2)
chrome上でF12を押して、対象タグ上で右クリック、xpath出力すると、
//*[@id="bd"]/div[1]/table/tbody/tr[17]/td[13]/
となります。(tbodyが入っている)
但しこれをxpathとして指定しても要素を取得することができません。([]となる)
どのパスを指定するのが正解ですか？

###該当のソースコード

from urllib2 import *
import lxml.html
html2 = urlopen('http://www.tenki.jp/live/5/26/47636.html').read()
root2 = lxml.html.fromstring(html2)
t1 = root2.xpath('//*[@id="bd"]/div[1]/table/tr[17]/td[13]/text()')
print t1

###試したこと

print t1.encode('utf_8')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'list' object has no attribute 'encode'

###補足情報(言語/FW/ツール等のバージョンなど)
CentOS release 6.7
Python 2.6.6
lxml

Answer 1

(1)

xpathで得られる結果は基本的にlist型なので、t1[0]などのように対象となるものを個別指定しないと、「試したこと」にあるようなデコードなどが効きません。
print t1[0]としてみてください。

(2)

curlなどのコマンドラインで該当のURLを実行してみた感じでは、少なくともHTMLのレスポンス自体にはtbodyはタグは存在しませんでした。
jsによる書き換えかChromeが補完してしまったのだと思います。
ので、今回の場合では掲載されたコードの通りのxpathで問題ないかと思います。

Comments

[otaks]

回答ありがとうございました！

(1)
>>> print t1[0]
西
出力されました。

(2)
確かにwgetでとってくると<tbody>がついていません。
このような差異があることもあるんですね。これからは生データも
確認するようにしようと思います。