amazonの在庫監視について。

Question

前提・実現したいこと

下記の方のようにアマゾンの在庫を監視するツールを作成したいと思っています。
どういうロジックでデータを取得しているのかご存知の方がいましたら教えていただきたいです。

またAPIでは短縮URLを作成できないと思いますがどのように作成しているのでしょうか？

https://twitter.com/amarareitem
https://twitter.com/rare__zaiko

・seleniumでの取得はCPUをかなり上昇させるためあまり使用したくはありません。
・Beautiful Soupで取得の場合は最初は動いていたのですが、途中から503になって取得困難になりました。
・RA-APIでは最新情報の取得ができず情報に遅れが出てしまいあまり使い物になりませんでした。

・一度作った際には、selenium, Beautiful Soupによる監視を行いましたが、IP制限などにより取得できなくなりました。

該当のソースコード

options = webdriver.ChromeOptions()
options.add_argument("--profile-directory")
options.add_argument("--headless")
options.add_argument("--disable-gpu")
options.add_argument("--window-size=1280x1696")
options.add_argument("--disable-application-cache")
options.add_argument("--disable-infobars")
options.add_argument("--no-sandbox")
options.add_argument("--hide-scrollbars")
options.add_argument("--enable-logging")
options.add_argument("--log-level=0")
options.add_argument("--single-process")
options.add_argument("--ignore-certificate-errors")
options.add_argument("--homedir=/tmp")
options.add_argument('--allow-running-insecure-content')
options.add_argument('--disable-web-security')
options.add_argument('--disable-desktop-notifications')
options.add_argument("--disable-extensions")
options.add_argument('--user-agent=hogehoge1')
options.add_argument('--lang=ja')
options.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36')
driver = webdriver.Chrome(
    "./chromedriver",
    chrome_options=options)

URLS = [
"https://www.amazon.co.jp/gp/offer-listing/XXXXXXXXX1/",
"https://www.amazon.co.jp/gp/offer-listing/XXXXXXXXX2/",
"https://www.amazon.co.jp/gp/offer-listing/XXXXXXXXX3/",
"https://www.amazon.co.jp/gp/offer-listing/XXXXXXXXX4/",
]

for URL in URLS:
　driver.get('https://www.amazon.co.jp/')
　driver.get(URL)

　try:
  　  span = driver.find_element_by_xpath("//*[@id='olpOfferList']/div/div/div[2]/div[1]/span")
　except NoSuchElementException:
  　   print('ERROR')
    　 continue

　price = span.text

試したこと

　driver.get('https://www.amazon.co.jp/')

上記を入れることで回避できると言うこともあったのですがあまり効果はありませんでした。

詳しい方ご教授ください

Answer 1

技術的に「できうる」ことと、相手に対して「やっていい」ことは違います。

Amazon.co.jp ヘルプ: Amazon.co.jp 利用規約

利用許可およびサイトへのアクセス

本規約およびサービス規約の遵守を条件とし、アマゾンまたはコンテンツ提供者は、アマゾンサービスを限定的、非独占的、非商業的および個人的に利用する権利をお客様に許諾します（譲渡およびサブライセンス不可）。この利用許可には、アマゾンサービスまたはそのコンテンツの転売および商業目的での利用、製品リスト、解説、価格などの収集と利用、アマゾンサービスまたはそのコンテンツの二次的利用、第三者のために行うアカウント情報のダウンロードとコピーやその他の利用、データマイニング、ロボットなどのデータ収集・抽出ツールの使用は、一切含まれません。
(中略)
本規約およびその他の利用規約に反する使用をした場合、アマゾンが使用許諾した権利は終了します。

Comments

[m8354825717]

ではそもそもどのようにして参考のURLのものは取得しているのでしょうか？