[Python]ページネーションのスクレイピングについて

Question

前提・実現したいこと

python初心者です。スクレイピングについて教えてください。

・1ページの中で取得したいものは取得できた
・ページネーション分すべてスクレイピングしたい

質問も始めてで不備があるかと思いますが何卒宜しくお願い致します。

該当のソースコード

coding: UTF-8
import urllib.request, urllib.error
html = urllib.request.urlopen('https://search.rakuten.co.jp/search/mall/inz/?p=2&sid=261213').read()
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')
div = soup.findAll('div' , class_='image')
for f in div:
for link in f.findAll('a'):
print(link.attrs['href'])

補足情報（FW/ツールのバージョンなど）

https://search.rakuten.co.jp/search/mall/inz/?p=2&sid=261213

このURLの中の「P=〇」が30弱まであるのですが、最後まで取得したいです。

Answer 1

はじめまして．
質問者様の意図は以下のようなことでしょうか？

p＝⚪︎の値をfor文で変更することでページネートを変えてます．
自分の環境ではこれで回ったはず？です！

import urllib.request, urllib.error
from bs4 import BeautifulSoup
from time import sleep

if __name__ == '__main__':
    N = 30 #ページネートの数
    BT = 2

    for i in range(1, N+1): #元for i in range(N)

        sleep(BT)#アクセスが多くなりすぎないように時間を開ける

        #pの値をfor文で変える
        url = 'https://search.rakuten.co.jp/search/mall/inz/?p=' + str(i) + '&sid=261213'
        print(url)


        html = urllib.request.urlopen(url).read()
        soup = BeautifulSoup(html, 'lxml')
        div = soup.findAll('div' , class_='image')
        for f in div:
            for link in f.findAll('a'):
                print(link.attrs['href'])

追記

同じページばかりを習得してしまうとのことで....
上記のコードを変更しました.
この変更により
p=1からはじまる
現在のページURLがわかる
ようにしました．

確認して見ましたがURLが変わるごとに
e-syugei/xxx/のxxxの数字が違うものが取れて来ているので
このコードならおそらく違うページが取れるかと.....

よろしくおねがいいたします！

Comments

[Dadada_c.]

ありがとうございます！解決しました！！
また勉強させてください！よろしくお願い致します！

[Dadada_c.]

すみません。昨日、解決したと思ったのですが・・・同じページばかり取得していることに気が付きました。今一度教えてください。よろしくお願い致します。

[Uzura1994]

回答編集しました！確認して見てください！

[Dadada_c.]

できました！！！ありがとうございます！とてもたすかりました！！フォローさせて頂きます。よければフォローバックお願いします！これからもよろしくお願いします。勉強になりました！