複数のurlを取得して、各urlで必要な項目をスクレイピングしようと考えています。
現在自分がスクレイピングしようとしているweb記事はhttps://?page=1 や?page=2 のように、最後の数字を大きくすることで次のページに移動することができます。
https://
以下のように最後の数字を変数にして、全てのリンクを取得しようと考えたのですが、うまく遷移ができておらず、最初のページしかurlを取得できていませんでした。
どのように修正すればよいのでしょうか。
よろしくお願いいたします。
python
1import urllib.request, urllib.parse, urllib.error 2from bs4 import BeautifulSoup 3import requests 4 5for i in range(2): 6 res=requests.get('https://~~(省略)/?page={i}') 7 bs=BeautifulSoup(res.text , "html.parser") 8 print(bs)
最後の数字が変数になってないからだと思います。
回答2件
あなたの回答
tips
プレビュー