【python】xpathを使用してtd内の文字列を、<br>タグも含めてまるごと取得する方法をご教示いただきたい。

Question

前提・実現したいこと

pythonでxpathを使用して、
下記HTMLのtd内の文字を<br>タグも含めて、まるごと取得（スクレイピング）したいです。

<th>A<th>
<td>
　あいうえお<br>
　かきくけこ<br>
　さしすせそ<br>
　たちつてと<br>
</td>

該当のソースコード

        for tr in exp.xpath('.//tr'):
            key = tr.xpath('.//th[1]')[0].text.strip()
            value = tr.xpath('.//td[1]')[0].text.strip() \
                if tr.xpath('.//td[1]')[0].text else ''
            data[key] = value

発生している問題

上記ソースコードで実施したところ、
最初の「あいうえお」しか取得出来ませんでした。

試したこと

ソースコードの3行目をいろいろと変更して試してみました。

value = tr.xpath('string(.//td[1])').strip()
のときは、「あいうえおかきくけこさしすせそたちつてと」と文字はすべて取得できましたが、
<br>タグが含まれてませんでした。

下記で試してみましたが、すべてエラーとなってしまいました。

×　value = tr.xpath('text(.//td[1])').strip()
×　value = tr.xpath('.//td[1]/string()').strip()
×　value = tr.xpath('.//td[1]').strip()
×　value = tr.xpath('.//td[1]')[0].node.strip()
×　value = tr.xpath('.//td[1]')[0].node().strip()
×　value = lxml.html.tostring(tr.xpath('.//td[1]'))
×　value = lxml.tostring(tr.xpath('.//td[1]'))

<br>タグも含めて、td内の文字を取得する方法がわかる方がいらっしゃいましたら、
ぜひご教示いただけないでしょうか。何卒よろしくお願い致します。

Comments

[hayataka2049]

lxmlを使っているのでしょうか？　それ以外のライブラリを使用することも想定していますか？

[yasuda_masashi]

ご質問ありがとうございます。
実はlxmlを使っているかどうかも不明なまま取り合えず試してみたという経緯になります。
環境をいじることができないため、ライブラリの追加等も今のところは考えておりませんが、
ライブラリを使用しないと難し感じなのでしょうか。

Answer 1

普段はbeautifulsoupしか使ったことないので
lxmlのxpathははじめてなので調べてみました

text_content
https://qiita.com/KenFujita/items/0e666ab7f2f152bc0078

tostring
https://python.keicode.com/advanced/xml-lxml-1.php

from lxml import html
from lxml.etree import tostring

raw_html = """\
<th>A<th>
<td>
あいうえお<br>
かきくけこ<br>
さしすせそ<br>
たちつてと<br>
</td>
"""

html = html.fromstring(raw_html)

tag = html.xpath("//td")[0]

# テキスト
s1 = tag.text_content()

# タグ
s2 = tostring(tag, encoding="utf-8").decode()

print(s1)
print(s2)

Comments

[yasuda_masashi]

ご回答いただきまして誠にありがとうございます。私の環境で実現できるか試してみたいと思います。