映画に関するレビューのスクレイピングを学習しているのですが1ページ目を取得することが限界で一つの作品に対するすべてのレビューを取得する方法が分からず困っています。例として以下のURLのページを見ると現時点で182件のレビューがついています。これらを一度にすべて取得したいのですが方法がわからないためスクレイピングに詳しいかたよろしくお願いいたします。
https://movies.yahoo.co.jp/movie/%E3%82%AA%E3%83%BC%E3%82%B7%E3%83%A3%E3%83%B3%E3%82%BA8/363392/review/
import requests from bs4 import BeautifulSoup URL = "https://movies.yahoo.co.jp/review/" BASE_URL = "https://movies.yahoo.co.jp" soup = BeautifulSoup(requests.get(url=URL).content, "lxml") links = soup.find_all("a", class_="listview__element--right-icon") review_urls = [] for link in links: review_urls.append(f"{BASE_URL}{link.get('href')}") results = [] for review_url in review_urls: soup = BeautifulSoup(requests.get(url=review_url).content, "lxml") results.append(soup.find("p", class_="text-small text-break text-readable p1em").text.strip()) [print(result) for result in results]
回答3件
あなたの回答
tips
プレビュー