pythonのスクレイピングで次のページへアクセスしたい

Question

こんにちは。現在pythonでスクレイピングのプログラミングを行なっております。

今悩んでいるのが、該当のindexのリストを収集の後、『次のページにアクセス』する部分なのですが、いつもスクレイピングする時は『次へ』等、指定されたclassを読み込むのですが、以下のプログラムはその『次へ』に該当するものがありません。

<div class="pagination">
              <ul>
<li><a class="color_orange current" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=1&amp;is_paging=1">1</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=2&amp;is_paging=1">2</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=3&amp;is_paging=1">3</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=4&amp;is_paging=1">4</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=5&amp;is_paging=1">5</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=6&amp;is_paging=1">6</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=7&amp;is_paging=1">7</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=8&amp;is_paging=1">8</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=9&amp;is_paging=1">9</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=10&amp;is_paging=1">10</a></li>
<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=11&amp;is_paging=1">＞＞</a></li>
              </ul>
            </div>

この場合、数字を一つずつ追加していく必要があるのかなと思うのですが、どのようにプログラムすれば一つずつ数字を上げられますでしょうか？

よろしくお願い致します。

Answer 1

Octoparseを使って、バッチで各ページのurlを生成することができます。
https://helpcenter.octoparse.jp/hc/ja/articles/360015816453-URL%E3%81%AE%E4%B8%80%E6%8B%AC%E3%82%A4%E3%83%B3%E3%83%9D%E3%83%BC%E3%83%88#div3

Answer 2

数値を文字列に変換して文字列と連結するは 参考になるかもです

Answer 3

href を URL にするには駄目でしょうか？

<li><a class="color_orange" href="***/entrance/member_search/search-result/?mode=2&amp;freeword=&amp;pages=2&amp;is_paging=1">2</a></li>

だと
URL = "***/entrance/member_search/search-result/?mode=2&freeword=&pages=2&is_paging=1"
みたいな感じで

Comments

[KOO_]

ありがとう御座います。それをしてしまうと１ページ目と２ページ目をループしてしまうので、難しいです。。

[Reach]

元のサイトが 知らないので 大雑把にしか 書けませんが
&pages=2&is_paging=1　の数字を 変化させてもNGでしょうか？

または
div class="pagination" 下の li タグ直下の Aタグを ckick を 応用するとかは？

[KOO_]

>&pages=2&is_paging=1　の数字を 変化させてもNGでしょうか？
例えばこれを
&pages=2&is_paging=1
&pages=2&is_paging=2
&pages=2&is_paging=3
とするプログラムの一例を頂くことはできないでしょうか？

Answer 4

『次へ』に該当するものがありません。

「次へ」なりなんなり、次のページへのリンクかボタンがないとページがめくれません。
ページ内に無いとすると、requestsとかでHTMLだけ取得していて、実はJavaScriptで生成追加されているので、Selenium等を使う必要があるでしょう。