lxmlのElementのattributeをunicodeとしてtostringしたい

Question

lxmlを使ってattributeに日本語が含まれるXMLの処理をしています。
ツリー全体に対してtostringをすると上手くいきますが、単一のElementを対象に処理するとattributeの日本語をうまく変換することができません。
以下のような状況です。

>>> from lxml import etree
>>> root = etree.fromstring('<hoge><fuga f="ふが">フガ</fuga></hoge>')
>>> etree.tostring(root, encoding="utf-8").decode()
'<hoge><fuga f="ふが">フガ</fuga></hoge>' # うまいく
>>> etree.tostring(root.xpath("//fuga")[0], encoding="utf-8").decode()
'<fuga f="&#x3075;&#x304C;">フガ</fuga>' # これだと駄目

このような場合、どのように取り扱うのが適当でしょうか？

よろしくおねがいします。

追記

色々試してみたところ、Element.attrib["f"]でアクセスすると日本語（ユニコード文字）になるようでした。また、「取り出されたもののルート」だけ数値文字参照に化けることが判明しました。

>>> from lxml import etree
>>> tree = etree.fromstring('<root><hoge h="ほげ"><fuga f="ふが"><piyo p="ぴよ"></piyo></fuga></hoge></root>')
>>> etree.tostring(tree, encoding="utf-8").decode()
'<root><hoge h="ほげ"><fuga f="ふが"><piyo p="ぴよ"/></fuga></hoge></root>'
>>> etree.tostring(tree[0], encoding="utf-8").decode()
'<hoge h="&#x307B;&#x3052;"><fuga f="ふが"><piyo p="ぴよ"/></fuga></hoge>'
>>> tree[0].attrib["h"]
'ほげ'

これはlxmlのバグかもしれませんが、今のところ既知の報告や関連情報を見つけられていないので、もう少し調べて出てこなければバグレポートでも投げてみます。

Comments

[defghi1977]

単なる数値文字参照であって, 実用上何ら問題がないと思いますが何か不具合でもあるのでしょうか？ https://ja.wikipedia.org/wiki/%E6%96%87%E5%AD%97%E5%8F%82%E7%85%A7

[hayataka2049]

実はデバッグで出していて、どうやっても要素だけtostringするとうまくいかなかったという経緯での質問です。けっきょく実用上の不具合は回避できましたが、これはtostringの仕様ですかね・・・

[defghi1977]

データ自体に損失は無いので, 適宜数値文字参照部を正規表現などで抽出し, 得られた文字コードから得られた文字に置換すればイケると思います. python 数値文字参照 でググると結構それらしきものがヒットしますし（デバッグのために処理を自作するというのもなんとも本末転倒な感じがしますが）

[hayataka2049]

質問文に追記した通り、アクセス自体はElement.attrib経由でできました。デバッグの用は済みましたが、うーん・・

Answer 1

Issue trackerには上がってなさそうですが、怪しい挙動ですね。でもソース（ココとかココ）を追っかけてると問題の根っこはlxmlを突き抜けてlibxmlに到達するんじゃないかなぁとちょっと思ったり。興味本位の野次馬ですが、ご参考までに。

Comments

[hayataka2049]

調べていただきありがとうございます。根が深いのか・・・

[st12491343]

あんな回答されたら皆回答しずらいですよね？どうするつもりですか？こっちは真剣に質問したんですけど、心外です。

[st12491343]

脅してる文をスクショしておきます。ちゃんと謝罪をして下さい。言葉に責任を持ってください。後、無視はしないで下さい。

[st12491343]

人間を人間が脅す行為覚悟決めて発言お願いします。

[hayataka2049]

とりあえず関係ないところにコメントするのはやめてくださいな。他の方に迷惑がかかります

[YouheiSakurai]

べき論・責任論でゴリ押しする輩は相手にしないのが吉。

Answer 2

I found if a node is not the root of its tree and you want to dump it as a root, then its attributes will not be parsed correctly. So the solution is:

etree.tostring(tree[0].__copy__(), encoding="utf-8").decode()
>>> '<hoge h="ほげ"><fuga f="ふが"><piyo p="ぴよ"/></fuga></hoge>'

Comments

[YouheiSakurai]

This is very interesting and awesome!