seleniumによるスクレイピング要素の指定方法について

抽出できないURL要素があり、方法お分かりなる方がいらっしゃればご教示願いたいです。

以下URL:　
http://b.hatena.ne.jp/search/text?q=Python&users=50

で、「次のページ」のURLの要素を抽出したく、

python seleniumを使い試行錯誤しています。

テキストは次のような記述で抽出できました。

python
1browser.find_element_by_css_selector(".centerarticle-pager-next.js-keyboard-selectable-item").text

が、urlを抽出しようと、次のような記述で試しましたが、何も抽出できませんでした。

python
1browser.find_element_by_css_selector(".centerarticle-pager-next.js-keyboard-selectable-item").get_attribute("href")

<span class="centerarticle-pager-next js-keyboard-selectable-item"><a href="/search/text?q=Python&amp;users=50&amp;page=2" class="js-keyboard-openable">次のページ</a>　　　　　　　　　　　　　　　　　　　　　　　　　　　　</span><a href="/search/text?q=Python&amp;users=50&amp;page=2" class="js-keyboard-openable">次のページ</a>

また、次のようにも試してみたのですが、意図していない記事のタイトル部分のURLを抽出してしまいます。抽出条件指定の問題があるかと思いますが、正しい指定方法などお分かりになればご教示いただければ幸いです。

python
1browser.find_element_by_css_selector(".js-keyboard-openable").get_attribute("href")

なお、python3 macX,browser = webdriver.PhantomJS() で記載してます。

行動規範の内容に同意します

回答1件

ベストアンサー

確かめてないのですが、それではspanタブのhrefを取ろうとしているのでは？
span>aのhefなら

python3
1browser.find_element_by_css_selector(".centerarticle-pager-next.js-keyboard-selectable-item").find_element_by_css_selector("a").get_attribute("href")
2```か
3```python3
4browser.find_element_by_css_selector(".centerarticle-pager-next.js-keyboard-selectable-item > a").get_attribute("href")

でできると思います。多分…

投稿2019/12/22 03:56