ランキングサイトの20位以降も取得したい

#やりたいこと
ランキングの商品名を80位まで取得したいのですが、20位までしか取得できません。
なぜできないのか、どうしたらできるのかを教えていただきたいです。

Python
1import requests
2from bs4 import BeautifulSoup
3url= 'https://ranking.rakuten.co.jp/daily/200162/?l2-id=ranking_a_top_gmen'
4res=requests.get(url)
5data=[]
6soup=BeautifulSoup(res.text,'html.parser')
7
8#商品名
9Products=soup.find_all('div',attrs={'class':'rnkRanking_top3box'})
10for Product in Products:
11  Product_Name=Product.find('div',attrs={'class':'rnkRanking_itemName'}).text
12  if '\u3000' in Product_Name:
13      Product_Name=Product_Name.replace('\u3000',' ')
14
15  #辞書収納
16  Product_info={}
17  Product_info['商品名']=Product_Name
18  data.append(Product_info)
19
20#3位以降の商品名の取得
21Products=soup.find_all('div',attrs={'class':'rnkRanking_after4box'})
22for Product in Products:
23  Product_Name=Product.find('div',attrs={'class':'rnkRanking_itemName'}).text
24  if '\u3000' in Product_Name:
25    Product_Name=Product_Name.replace('\u3000',' ')
26
27  #辞書収納
28  Product_info={}
29  Product_info['商品名']=Product_Name
30  data.append(Product_info)
31

行動規範の内容に同意します

回答1件

ベストアンサー

JavaScriptで動的に追加されているので、Seleniumを使うなどして・・・・となるところですが、
今回は、scriptタグの中にタグが埋め込まれているので、それを取り出してパースすれば取得するのは可能です。

ちょっと興味を惹かれたのでやってみました。

Python
1#21位以降
2Scripts=soup.find_all('script')
3for Script in Scripts:
4  inner=Script.decode_contents(formatter='html')
5  if 'rnkRanking_after4box' in inner:
6    so=BeautifulSoup(inner,'html.parser')
7    Products=so.find_all('div',attrs={'class':'rnkRanking_after4box'})
8    #以下はコピペ
9    for Product in Products:
10      Product_Name=Product.find('div',attrs={'class':'rnkRanking_itemName'}).text
11      if '\u3000' in Product_Name:
12        Product_Name=Product_Name.replace('\u3000',' ')
13  
14      #辞書収納
15      Product_info={}
16      Product_info['商品名']=Product_Name
17      data.append(Product_info)