Pythonでのスクレイピングで、ページネーションの”次へ”をたどれません

Question

スクレイピングの勉強をしています。
ページネーションの”次へ”を辿っていきたいのですが、リンクを取得することができません。
seleniumで"次へ"ボタンをクリックしていくというやり方を勉強しているところで躓きました。

該当のページネーションの"次へ"の部分は、以下のような構造になっています。

<p class="AAA">
　　　　<span class="BBB">
　　　　　　　　<span style="width:10px;height:10px" class="CCC"></span>
　　　　</span>
　　　　"次へ"
</p>

Pythonでのコードは以下のです。
リンクが取れたら、Trueをprintしようとしました。

try:
    next_button = WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.LINK_TEXT, '次へ')))
    print(True)
except:
    print(False)

上記のような構造のページネーションから、リンクを辿ることは可能なのでしょうか。
参考までに、webサイトのスクレピングに関する規約による可否は確認済みです。

Answer 1

By.LINK_TEXTは、aタグのリンクテキストとの完全一致のはずなので、お書きのHTMLでは一致しないと思います。

XPathで、「テキストノードが次へを含む」という条件で探すのでしょうか。

Comments

[fu_3823]

返信ありがとうございました。記載のHTMLですが、そもそも、ソースコードの中に、”次へ”が示すURLが見当たりません。aタグなどがあれば良いのですが、そうではないので、selseniumを用いてボタン押すというやり方をとりました。しかし、上記のHTMLでは、何をボタンとして取得したらいいのか分からず、行き詰まってしまいました。このような構成の場合、”次へ”の文字列にリンクが割り当てられていて、find_element_by_link_text　などでリンクを取得するのでしょうか。どれもなかなかうまく行きません。

[otn]

もしかして、ブラウザの開発者ツールを使ったことが無いと言うことでしょうか？
ボタンを右クリックして、「調査」とか「検証」とか選ぶと、開発者ツールというのが起動して、HTML上でどの要素に当たるのか表示してくれます（場合によっては「調査」または「検証」を再度選ぶ必要あり）。

[fu_3823]

いえ、chromeの開発者ツールを使っていますが、ソースコードにリンクらしいURLなどが見当たらないのです。スクレイピング初学者で、初歩的なことの理解不足かもしれませんが、質問文に記載したHTMLから、”次へ”ボタンに関連づけられたリンクを取ったり、ボタンを取得したりすることはできるのでしょうか。該当のソースコードの”次へ”はただのテキストに見えますし、その他に<a>タグも持っていません。

[otn]

clickするとjavaScriptが拾っているのではないでしょうか。
いずれにせよ、開発者ツールが使えるなら、クリックする要素の特定は出来るはずで、それを検索してclick()すれば良いかと思います。

[fu_3823]

分かりました。メソッドを変えて色々やってみます。
ありがとうございます。