欲しい要素がスクレイピングできない。

Question

前提・実現したいこと

スクレイピングしたいのですが、欲しい要素が取得出来ないです。
Amazonのように出品者一覧がサイドバーで表示されるのですが、この値段を全て取得したいです。
サイドバーで隠れている要素は取得出来ないのでしょうか？
*Amazonがスクレイピング禁止のは知っています。

発生している問題

・欲しい要素が取得出来ない。

該当のソースコード

import requests
from bs4 import BeautifulSoup

url="https://www.amazon.co.jp/dp/B0109ID8P6/ref=olp_aod_early_redir?_encoding=UTF8&aod=1"
my_header = {
"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; NP06; rv:11.0) like Gecko"
}
urls = requests.get(url, headers = my_header)
urls.encoding = urls.apparent_encoding
soup = BeautifulSoup(urls.text, "html.parser")
price=soup.find_all(class_="a-price-whole")

結果

[]

試したこと

出品者一覧のボタンの要素をみるとstyle="right: 0px; overflow: hidden;"となっており、overflow: hiddenが原因かなと思い、調べましたが解決できませんした。
どなたか分かる方がいらっしゃればご教示いただければ幸いです。よろしくお願いします。

Comments

[meg_]

> Amazonのように出品者一覧がサイドバーで表示されるのですが、この値段を全て取得したいです。
スクレイピングが禁止されていないURLを提示されれば回答出来るかもしれません。

Answer 1

overflow:hiddenはあくまでユーザーに見せないようにするだけで、コード内には存在しているはずなので開発者ツールで見てみるか、出品者一覧のページが別に用意されていないか探してみるのはいかがでしょうか

Comments

[Tommy_suzuki]

回答ありがとうございます！
私もそう思い、開発者ツールで確認したのですが見つからなかったので質問いたしました。
もう一度探してみます。