スクレイピングしたいページが複数ある際に、次のページを示すurlだけ一気に抽出する方法がわかりません。

Question

現在pythonを用いてスクレイピングを行っています。
サイトが1ページの場合は、ほしい情報を手に入れることができたのですが、「次へ」や「1」,[2]など複数のページがある場合、どのようなコードを書けば効率がいいのでしょうか?

僕は、まずほしいページのリンクを全て取得して、その後に取得したurlを順に読み込んでほしい情報を手に入れた方が早いのかなと思いました。
次のページへ移行するurlは<a href="(省略)/?page=2">と記載されているので最後のページまでこのタグを取得しようと思いました。
しかし、1ページには画面遷移のためのurlだけでなく、他のurlも数多く記載されているため、forループなどで次のページを示すurlだけ抽出するにはどのようなコードを書いたら良いのかわからなかったので、教えていただけないでしょうか。

プログラミングを始めたばかりなので、わかりやすく教えていただけたら幸いです。
何卒よろしくお願いいたします。

Answer 1

大抵は、<a href="～～">次へ</a>とかになっているので、その場合「囲まれたテキストが"次へ"であるaタグ」を探してクリックします。
XPathなら、"//a[.='次へ']"ですね。

Comments

[PINE1103]

ご回答ありがとうございます。
遷移先が「次へ」の場合はスクレイピングすることができました。
質問内容が詳細に書けていないにも関わらずご対応いただきありがとうございます。