selenium 特定のテキストを指定して情報取得したい

Question

下記のようなサイト構造を持つwebページから、
span=「資格」であるdivの情報を全て取得したいと考えています。

当該サイト：
https://shingakunet.com/gakko/SC003048/gakubugakka/00000000000160337/

下記で取得できるだろうと考えたのですが、上手くいきませんでした。。。。

driver.find_element_by_xpath("//div[contains(text(), '資格'])").text

# 下記で希望する情報を取得できるのですが、ページによってリスト番号が異なる
driver.find_elements_by_class_name('__shi_gakkaDetail_cont')[2].text

初歩的なことかとは存じますが、修正すべき点についてご教示いただけましたら幸甚です。
何卒よろしくお願い申し上げます。

Comments

[shirai]

> class="__shi_m_txt"=「資格」であるdivの情報を全て取得したい
ということですが2つ疑問が。
1. 画像を見る限りclass="__shi_m_txt"はdivではなくspanにくっついていますがどちらが正しいですか。
2. 情報を全てとは具体的に何を指しますか？HTMLソースですか？それとも「資格」という文字列ですか？

[john_doe_]

ご指摘いただいた点を踏まえて、質問内容を修正させていただきました。
spanが「資格」の誤りでした。また、今回取得したい情報は上述の赤枠内のテキストとなります。
お手すき際にご教示いただけましたら幸甚です。何卒よろしくお願い申し上げます。

Answer 1

for span_tag in driver.find_elements_by_class_name('__shi_m_txt'):
    if span_tag.text == '資格':
        div_tag = span_tag.find_element_by_xpath('../../') # ../..かも
        print(div_tag.text)
        break

Comments

[john_doe_]

〜xpath('../..')で、目的の情報が取得できました！！
理解が追いついていないので一つづつ調べて学習したいと思います。
ご親切にご教示いただきまして大変助かりました。誠にありがとうございます。

[shirai]

for span_tag in driver.find_elements_by_class_name('__shi_m_txt'):
class属性が__shi_m_txtの要素を検索

if span_tag.text == '資格':
もしその要素のテキストが'資格'だったら

div_tag = span_tag.find_element_by_xpath('../../') # ../..かも
その親の親の要素を取得して

print(div_tag.text)
printする

です

[john_doe_]

初心者にも理解しやすいようにご説明いただきありがとうございます。
特定のテキスト情報を利用した要素取得はよく検討していたことなので、
是非、自分で応用できるようにしたいと思います。
ちなみに、最後の「break」はあった方が良いのでしょうか？？

[shirai]

ほとんどの場合がそうですが、この場合もした方がいいです。
理由は2つあり、
1つはとっくに見つかってやりたい動作をさせているのに無駄にfor文を回す時間を取られるため。
もう1つはStaleElementReferenceExceptionというエラーの発生を避ける為です。
このエラーが出る一例としては
「for A in B　　のリストBの各要素にDOM要素を入れてあるけど、
for文が回っている最中に
クリックやページ遷移などで大元のDOMの内容が書き換わり、
次のイテレータにアクセスをしてみたけど
さっきまであったけど今は見当たらないよ」などです。

[john_doe_]

大変丁寧にご教示いただきまして恐縮です。。。。
大変勉強になります。
引き続き何卒よろしくお願い申し上げます。
取り急ぎお礼のご挨拶まで。

Answer 2

見つからない以前に、XPathの構文のエラーです。構文エラー出なかったですか？

誤："//div[contains(text(), '資格'])"
正："//div[contains(text(), '資格')]"

text()は、直下のテキストノードを指しますが、div直下に資格は無いので、見つかりません。

"//div[contains(string(.),'資格')]"
string()は文字列文脈では省略可能なようです。
"//div[contains(.,'資格')]"

Comments

[john_doe_]

大変ご丁寧にご教示いただきまして誠にありがとうございます。
構文のエラーは出なかったのですが、構文の知識が不足しておりました。
他のサイト等で勉強したのですが、十分理解できずにおります。

私の質問内容が悪かったのかと存じますが、ご教示いただいた内容を試したところ、
InvalidSelectorException: Message: invalid selectorのエラーメッセージが出てしまいました。

[otn]

すいません。「誤」の方をもとに修正してしまって、「誤」の間違いが残ったままでした。
修正しておきます。

[john_doe_]

いえいえ、とんでもございません。こちらの質問の仕方が悪かったです。
引き続き何卒よろしくお願い申し上げます。

Answer 3

Seleniumでアクセスしてソースを取得してからbeautifulsoupでスクレイピングするほうが簡単だとおもいます。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('chromedriver', options=options)
driver.implicitly_wait(10)
driver.get('アドレス')

html = driver.page_source.encode('utf-8')

driver.quit()

soup = BeautifulSoup(html, "html.parser")
res = [i.get_text(strip = True) for i in soup.find_all("div", class_ = "__shi_m_txt", text = "資格")]

サンプルにdivでclassが"__shi_m_txt"はないのと
これで取得しても「資格」しか取れないと思うのですが

追記

beautifulsoupの場合

import requests
from bs4 import BeautifulSoup
import re

url = 'https://shingakunet.com/gakko/SC003048/gakubugakka/00000000000160337/'

r = requests.get(url)

r.raise_for_status()

soup = BeautifulSoup(r.content, 'html5lib')

# 資格の下のテキスト取得
t = "\n".join([re.sub("\s", "", i) for i in soup.find("span", class_ = "__shi_m_txt", text = "資格").parent.find_next_sibling("div", class_="__shi_gakkaDetail_cont").stripped_strings])
# 資格のタグ（find）→親タグ（parent）→下の兄弟タグ（find_next_sibling）→前後の空白文字を除去したテキスト→文中の空白文字削除→結合

# Webページと同じように、の後の改行を削除
print(re.sub("、\n", "、", t))

Comments

[john_doe_]

ご親切にご教示いただきまして誠にありがとうございます。
私の理解不足で質問内容に誤りがありましたので加筆・修正させていただきました。
また、bsも使ってみたいと考えていたところですので大変助かります。

seleniumよりもbsの方が利便性が高いのでしょうか？？
今は、初心者ということもあり実際に画面遷移等が正しく動作しているかを目視できるのでseleniumを利用しています。

[john_doe_]

ご親切に追加いただきまして誠にありがとうございます。
beautiful soupも扱えるように勉強したいと思います。