Seleniumを使用してdivタグ内のaタグを取得したいです。

Question

Seleniumを使用したdivタグ内のaタグの取得方法を教えて頂きたいです。

取得したい要素は下記のコード内です。

<div class="block-content">
  <div class="block-heading">
    <a href="https://www~~~~~~">  
      <i class="fa fa-map">
        ::before
      </i>
       "このテキストを取得したいです。"
    </a>
  </div>
</div>

seleniumを使用し、cssを取得する方法等色々試したのですが、テキストが帰ってくることはなかったです。

ご教示頂けると大変ありがたいです。
よろしくお願いいたします。

Comments

[m.ts10806]

ご自身が組んでみたコードをご提示ください。

[tako7]

テキストを取得することができれば良いのですが、
xpathで取得する下記のような方法を試していました。
name = @driver.find_element(xpath: "//i[@class='fa fa-map']/..").text[/(?<=before \")\w+ \w+ \w+ \w+ \w+/]

def name
@driver.find_element(xpath: "//i[@class='fa fa-map']/..").text[/(?<=before \")\w+ \w+ \w+ \w+ \w+/]
end

このような形で取得したいと思っています。

Answer 1

どうにか綺麗に取得したかったのですが、下記のような方法（単純にclass_nameの要素を取得して加工する）で解決しました。
回答いただいた方々、ご丁寧に対応いただきありがとうございました。

elements = @driver.find_elements(:class_name, "block-content")
targetText = elements.first.text.lines.first.chomp
(実際には分けて変数に入れています。)

block-contentには改行されたテキストが大量に入っているので、その中から最初のテキストを行ごとに配列にし、その配列の中から一番最初の要素を取得し、chompで改行文字を削除。

手っ取り早くやろうとせずに面倒でも加工した方が楽ということがわかりました。

Answer 2

XPathのtext()で「直下のテキストノード」が取れます。

@driver.find_element(xpath: "//i[@class='fa fa-map']/../text()").text.strip

Comments

[tako7]

ありがとうございます。
ご教示頂いた記述を試した見たのですが、要素が取得できていないようです。
こちら、<div class="block-content">や <div class="block-heading">
に入っていくような記述は必要ないのでしょうか。

[otn]

失礼しました。XPathとしては正しいのですが、Seleniumのfind_elementだとtext()は指定できないようですね。
回避策は無さそうな気がするので、
案1：質問のコメントにお書きのように正規表現でなんとかする
案2：driver.page_sourceでHTMLを得て、NokogiriやREXMLのようなXPath1.0の全機能を使えるツールで解析する

[tako7]

ご丁寧にありがとうございました。
大枠の要素を取得して加工する方法で解決しました。
ありがとうございました。

Answer 3

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

options = Options()

options.binary_location = "Chrome path"

driver = webdriver.Chrome(chrome_options=options, executable_path="ChromeDriver.exe")

driver.get('url')

element = driver.find_element_by_class_name('block-content')

aTag    = element.find_element_by_tag_name("a")

url     = aTag.get_attribute("href")

print(url)

参考URL

Comments

[tako7]

現在rubyで書いているので、似たようなことをやってみたのですが、urlの取得しかできませんでした。
element = @driver.find_element(:class_name, 'block-content')
aTag = element.find_element(:tag_name, "a")
url = aTag.attribute("href")
print (url)