前提
BeautifulSoupを使ってスクレイピングをしているのですが「index」のページなら次のページに移動できるのですが「?page{}」だと移動できません。
実現したいこと
次ページに移動してコメント部分をスクレイピングしたいのです。
発生している問題・エラーメッセージ
スクレイピングしても1page目のコメントだけで2page目に移動して取得してくれません。
エラーメッセージ
### 該当のソースコード import requests from bs4 import BeautifulSoup from pathlib import Path from urllib.parse import urljoin import time url = ('https://greenfunding.jp/focal/projects/5541/comments/') for i in range(1,3): if i == 1: page_url = url else: page_url = urljoin(url,f'?page{i}.html') res = requests.get(page_url) soup = BeautifulSoup(res.text,'html.parser') kutikomis = soup.select('div.comment-container > div.comment-content') for kutikomi in kutikomis: print(f'{i}ページ目',kutikomi.text) time.sleep(1) ### 試したこと ここに問題に対して試したことを記載してください。 ### 補足情報(FW/ツールのバージョンなど) seleniumはつかっていません。 ここにより詳細な情報を記載してください。

回答1件
あなたの回答
tips
プレビュー
下記のような回答は推奨されていません。
このような回答には修正を依頼しましょう。
また依頼した内容が修正された場合は、修正依頼を取り消すようにしましょう。
2022/08/07 07:29