seleniumで要素取得ができない。

Question

こちらのサイトからスクレイピングをしようと考えていたのですが、
サイトに入って
『長部』「戒蘊篇」クリック=>「梵網経」クリック=>【遍歴行者の物語】クリックの後

かの阿羅漢にして正等覚者（ブッダ）たる世尊に礼拝いたします	　
メモ	　	　	　	　	　	　	　	　

・「戒蘊篇」のための帰依文。直訳すれば「かの世尊、阿羅漢、正等覚者のための礼拝が〔ある〕」となろうか。

かの阿羅漢にして正等覚者（ブッダ）たる世尊に礼拝いたします
の部分を取得しようとしたのですが、
driver.find_element_by_xpath("/html/body/table/tbody/tr[14]/td[3]")
xpath class共に、エラーが出ました。

NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"/html/body/table/tbody/tr[14]/td[3]"} (Session info: chrome=79.0.3945.88)

原因がわかる方はいますでしょうか？
beautifulsoupもダメでした。

Comments

[meg_]

・リンクは「リンクの挿入」で記入してください。
・「『長部』「戒蘊篇」クリック=>「梵網経」クリック=>【遍歴行者の物語】クリック」はどのようなコードで実行されましたか？

[ninginnn]

ご回答ありがとうございます。
この部分は手動で移動しました。
実験的に内容が取得できるか試すためです。

[meg_]

フレーム分割されたページの場合、フレームから指定しないと要素は取得できないと思います。

Answer 1

トップページ及び「【遍歴行者の物語】」をクリックした先のページがフレームに分かれているため、
それぞれの段階でフレームを指定して、そのフレームに遷移する必要があります。

driver.page_sourceでhtmlソースを取得できるので、seleniumがどのhtmlを見ているのか確認できます。
例えば、トップページを表示させた時点でdriver.page_sourceを取得してみると、
単にname="menu"のフレームとname="main"のフレームを表示させているだけというのが分かると思います。

なお、フレームに遷移する方法は、
driver.switch_to.frame(element)
になります。

import time
from selenium import webdriver

driver = webdriver.Chrome()

url ='https://komyojikyozo.web.fc2.com/'
driver.get(url)
driver.implicitly_wait(5)

print(driver.page_source)
# 表示するフレームを指定しているだけで、左側のメニューや右側の本文はソースに含まれていない。


# トップページがフレームに分かれているため、name="main"のフレームに入る
frame_elem = driver.find_element_by_name('main')
driver.switch_to.frame(frame_elem)
driver.implicitly_wait(5)

driver.find_element_by_link_text('『長部』「戒蘊篇」').click()
driver.implicitly_wait(5)
driver.find_element_by_link_text('「梵網経」').click()
driver.implicitly_wait(5)
driver.find_element_by_link_text('【遍歴行者の物語】').click()
driver.implicitly_wait(5)
# 表示に時間がかかるので、スリープで時間をとる
time.sleep(10)

# さらにフレームに分かれているため、name="frSheet"のフレームに入る
frame_elem = driver.find_element_by_name('frSheet')
driver.switch_to.frame(frame_elem)
driver.implicitly_wait(5)

# 「かの阿羅漢にして…」のelementを取得する
elem = driver.find_element_by_xpath('/html/body/table/tbody/tr[14]/td[3]')

print(elem.text)
#　かの阿羅漢にして正等覚者（ブッダ）たる世尊に礼拝いたします

Comments

[ninginnn]

本当にありがとうございます。
行き詰まっていた中、突破できそうです！！