pythonスクレイピングの要素取得について知恵をお貸しください。

Question

このサイトから
<訳文>の下の所だけをスクレイピングして保存しようと思っています。このページ×5000ページほどです。
以下のように取得をしたいです。

１　　かの阿羅漢にして正等覚者（ブッダ）たる世尊に礼拝いたします\n『長部〔経典〕』\n「戒蘊篇」なる聖典....

試した要素取得について
１
soup.find_all("font", class_="font9")
classで指定する方法は一日中格闘しましたが、他のページには、fontがバラバラかつ、fontタグでないものもある。訳文以外にもfontタグがある場合がある。
if文で頑張って分岐しても絶対にうまくいかない事がわかりました。

２
x_pathを使う方法
x_pathはバラバラで一貫性が全くないため、使えませんでした。

要素をどのように取得できるでしょうか？
共通する条件としては、「訳文」という文字の下にある。という条件しかないように思えます。
この条件だけで文章を取得する事ができますでしょうか？
ご教授いただけると幸いです。

import time
from selenium import webdriver

driver = webdriver.Chrome()

url ='https://komyojikyozo.web.fc2.com/'
driver.get(url)
driver.implicitly_wait(5)

print(driver.page_source)
# 表示するフレームを指定しているだけで、左側のメニューや右側の本文はソースに含まれていない。


# トップページがフレームに分かれているため、name="main"のフレームに入る
frame_elem = driver.find_element_by_name('main')
driver.switch_to.frame(frame_elem)
driver.implicitly_wait(5)

driver.find_element_by_link_text('『長部』「戒蘊篇」').click()
driver.implicitly_wait(5)
driver.find_element_by_link_text('「梵網経」').click()
driver.implicitly_wait(5)
driver.find_element_by_link_text('【遍歴行者の物語】').click()
driver.implicitly_wait(5)
# 表示に時間がかかるので、スリープで時間をとる
time.sleep(10)

# さらにフレームに分かれているため、name="frSheet"のフレームに入る
frame_elem = driver.find_element_by_name('frSheet')
driver.switch_to.frame(frame_elem)
driver.implicitly_wait(5)

# 「かの阿羅漢にして…」のelementを取得する
elem = driver.find_element_by_xpath('/html/body/table/tbody/tr[14]/td[3]')

print(elem.text)
#　かの阿羅漢にして正等覚者（ブッダ）たる世尊に礼拝いたします

以上のコードはこのサイトに入ってx_pathで取得するまでのコードとなります。

Comments

[otn]

具体的な情報が書かれて無いので、一般論だけですが、HTML全体を眺めてXPathで指定します。
人間が見て場所を特定できるのであれば、そのロジックをそのままXpathにします。

Answer 1

XPathで、直前のtrのテキストが「訳文」であるを条件にtrを絞り込んだらいけました。

プログラム

from selenium import webdriver
import chromedriver_binary
URL = "https://komyojikyozo.web.fc2.com/dnskv/dn01/dn01c01.htm"
TIMEOUT = 10
driver = webdriver.Chrome()
driver.implicitly_wait(TIMEOUT)
driver.get(URL)

frame = driver.find_element_by_name("frSheet")
driver.switch_to.frame(frame)

elems = driver.find_elements_by_xpath("(//tr[preceding-sibling::*[1][td/font[contains(text(),'訳文')]]])")

for i in range(len(elems)):
    print(elems[i].text)

出力

かの阿羅漢にして正等覚者（ブッダ）たる世尊に礼拝いたします
『長部〔経典〕』
「戒蘊篇」なる聖典
「梵網経」（『長部』1）
【遍歴行者の物語】
このように私は聞いた。
...

あとはページめくってこれを繰り返すだけですね。

Comments

[ninginnn]

うわー。ありがとうございます！
もっとコードの勉強をしたいと思います。
他の方々も本当にありがとうございました。

Answer 2

訳文が含まれる<tr>タグの次の位置にある<tr>タグの三番目の<td>タグを拾うとかですかねえ
住職に訳文くださいとメールでお願いするのが早い気もしますが。最近も更新されているようですし。

Comments

[ninginnn]

ご回答いただきありがとうございます。
住職のかたにデータがあるかメールをしてみました。

確かに
訳文が含まれる<tr>タグの次の位置にある<tr>タグの三番目の<td>
この一貫性は見た所ありそうな気がします。
貴重な情報をありがとうございます。