seleniumを使って、href属性を指定して、aタグのテキストをスクレイピングしたい

前提・実現したいこと

aタグのhref属性を使って、aタグに書かれたテキストを取り出したい。

html
1https://www.sample.jp/sapporo/
2<a href='sapporo/'>札幌</a>
3<a href='hakata/'>博多</a>

html
1https://www.sample.jp/hakata/
2<a href='sapporo/'>札幌</a>
3<a href='hakata/'>博多</a>

例えば、
'https://www.sample.jp/sapporo/'にアクセスした場合は、'札幌'という値を取りたい。
'https://www.sample.jp/hakata/'にアクセスした場合は、'博多'という値を取りたい。

該当のソースコード

以下のようなコードを書きました。

python
1from selenium import webdriver
2
3area_list=['sapporo','hakata',]
4
5driver = webdriver.Chrome()
6for i in area_list:
7    driver.get('https://www.sample.jp/'+ i +'/')
8    
9    area_tag=driver.find_element_by_xpath('//a[@href=i]')
10    area=area_tag.text
11    print(area)
12driver.close()

発生している問題・エラーメッセージ

コンソールにエラーは出ませんが、取得した値はprintされません。

「area_tag=driver.find_element_by_xpath('//a[@href=i]')」
を
「area_tag=driver.find_element_by_tag_name('h1')」
に変えると、
h1のテキストがprintされます。

「area_tag=driver.find_element_by_xpath('//a[@href=i]')」が間違っているのだと思いますが、
どのように修正したら良いでしょうか？

お分かりになる方、宜しくお願い致します。

行動規範の内容に同意します

回答1件

ベストアンサー

こんにちは。
find_element_by_xpath に渡しているXPATHの文字列を作る部分を、以下のように修正してみると、いかがでしょうか？

修正前：

python
1area_tag=driver.find_element_by_xpath('//a[@href=i]')

修正後：

python
1area_tag=driver.find_element_by_xpath('//a[contains(@href,"%s")]' % i)

または、 Python3.6以上をお使いでしたら、

python
1area_tag=driver.find_element_by_xpath(f'//a[contains(@href,"{i}")]')

追記

href が、sapporo/ や hakata/ に一致する <a> を取得するには、以下です。

python
1area_tag=driver.find_element_by_xpath('//a[@href="%s/"]' % i)

または、Python3.6以上では

python
1area_tag=driver.find_element_by_xpath(f'//a[@href="{i}/"]')

投稿2018/10/28 07:22

編集2018/10/28 09:37

jun68ykt

総合スコア9058

hiranohirano

2018/10/28 08:39

ご回答いただきまして、ありがとうございます。 containsではなく、イコールで値をとることは難しいでしょうか？期待していない値が取れてしまうことがあるので。。。例えば、<a href='sapporo/#top'>トップへ戻る</a>のような値が取れてしまいます。もし違うアドバイスがございましたら、ご教示いただけると助かります。宜しくお願い致します。