selenium 複数のタグ情報をひとまとめにして取得した

Question

下記のようなサイト構造で、全てのtag"article"について、含まれているテキスト情報をひとまとめにして取得したい、
と考えております。

# "article"の一つづつの情報取得するのであれば下記で可能
elem = driver.find_element_by_class_name('wrap_box')
elem.find_element_by_tag_name('article').text

# ひとまとめにして取得したいのでclass"wrap_box"をターゲットにしてみる
# class"wrap_box"の要素数と必要な要素の順番を確認
len(driver.find_elements_by_class_name('wrap_box'))

34 

# 必要な要素の順番は3番目の"wrap_box"と判明
# 3番目のclass"wrap_box"のテキスト情報を取得
driver.find_elements_by_class_name("wrap_box")[2].text

"article"以外の余分な情報も混じってしまう。。。

個々の"article"情報を一つづつ取得することはできるのですが、
まとめて一つの情報として取得する場合、どのように記述すべきでしたでしょうか？
ご教示いただけましたら幸甚です。何卒よろしくお願い申し上げます。

Answer 1

driver.find_elements_by_css_selector('section.wrap_box>article')

ではどうでしょうか。

Comments

[Takumiboo]

.wrap_boxが複数あるんでしたね。3番目固定であれば
driver.find_element_by_css_selector('section.wrap_box:nth-child(3)>article')
ですかね。

[john_doe_]

ご親切にご教示いただきましてありがとうございます。
いただいた内容ですと、下記の記述と同様に1番目の要素のみを取得可能なようです。
個々の情報を取得することはできるのですが、ひとまとめのテキスト情報として取得することを検討しております。

elem = driver.find_element_by_class_name('wrap_box')
elem.find_element_by_tag_name('article').text

[Takumiboo]

すみません、複数形にしてください。
driver.find_elements_by_css_selector('section.wrap_box:nth-child(3)>article')

[Takumiboo]

ちなみに「:nth-child(3)」についてはsection.wrap_boxの3つ目という前提で書いていますが、他の.wrap_boxがsectionでないなら除いてください。

[Takumiboo]

ちなみにこれらの情報は、私はPythonもSeleniumも触れたことありませんが、Google検索で手に入った情報です。すこし調べればご自身でも解決できたのではないでしょうか。
https://kurozumi.github.io/selenium-python/locating-elements.html

[john_doe_]

質問の仕方が悪くて申し訳ございません。
今回は全ての対象要素を一つのテキストとして取得することを目的としております。
また、CSSは不慣れなのですが、ご教示いただいた記述を参考に試行してみまましたが、空のリスト[]が返ってきました。

本件についてはご放念いただいて構いませんので、何卒よろしくお願い申し上げます。
お相手くださり誠にありがとうございました。

[Takumiboo]

driver.find_elements_by_css_selector('section.wrap_box>article')
でもダメですか？

[Takumiboo]

連結するのはjoinで一発だと思いますが、なぜそれを避ける必要があるのでしょうか。
余分な要素がある以上、.wrap_boxを一括で取得は無理でしょう。
リストで取得してから後で結合することができない理由を教えてください。

[john_doe_]

一括取得が可能かどうかを検討している次第ですので、結合に関しては話題にしておりません。

[Takumiboo]

では「不可能です」とお答えしたらそれで終わりなんですかね。
なにか目的があって行っているのではないんですか？それが達成できるであろう手段をご提案したのですが、無意味だったようですね。

[Takumiboo]

あ、もしかして私の回答の末尾に「.text」が漏れていたことが原因ですか？

[john_doe_]

いえいえ、とんでもございません。色々とご意見いただきましてありがとうございます。
ちなみに、取得データがリスト型なので「.text」とするとerrorになるかと思います。

joinで連結する前にも、各要素をテキスト化する必要があるので、
いずれにしましても、当初の思惑のように1発で完了させるのは困難なようです。

Answer 2

article_tags = driver.execute_script('document.getElementsByClassName("wrap_box")[2].children')[:-1]

Comments

[john_doe_]

いつもご教示いただきありがとうございます。
下記エラーが発生してしまいました。。。。。。
TypeError: 'NoneType' object is not subscriptable

また、本件のような場合、pythonのみで記述することは難しかったでしょうか？

Answer 3

一括取得は困難なようです。