Q&A
Amazonは規約により「ロボットなどのデータ収集・抽出ツールの使用」は認められていないようです。
前提・実現したいこと
ECサイトの在庫状況を数秒ごとに監視するツールを作成したいです。
人気商品の在庫状況を確認したいので、1~3秒ごとに在庫を監視する方法を調査しています。
商品ページのHTMLファイルを取得し、HTMLファイルから在庫状況の文言（在庫あり/在庫なし）を抽出するという方法を試してみたのですが、HTMLを取得するのに10秒近くかかってしまします。
google.comなど情報量の少ないページは1秒ほどで取得できるのですが、情報量の多いECサイトの商品ページだと時間がかかってしまいます。
HTMLファイルの大きさは150KB程で必要な情報は1行で済むのですが、効率よく取得する方法が不明です。
何かいい方法をご存知の方がおられましたら、ご教示お願いします。
～追記～
規約でツールを使って情報収集が認められているサイトでしか監視は行いません。APIのないサイトを監視したいのでAPIは使わない方法を探しています。また、長期的に監視するつもりもありません。
～～～～
よろしくお願いします。
試したこと
HTMLの取得はLinuxのcurlコマンドとPythonのrequests.getコマンドを試しました。
・curl
$ curl -sS -o ./output $URL
・requests.get
output=requests.get('URL')
回答1件
0
APIを使うのが良いかと思います。
例えば、Amazonでは"Product Advertising API"が用意されてるそうです。
HTMLファイルを取得する方法では頻度や手法によっては、
相手サーバーに負荷をかけてしまいアクセス制限をくらう可能性もあります。
投稿2019/11/18 11:30
総合スコア121
ご回答ありがとうございます。APIの説明が不足しておりました。大変失礼しました。AmazonのAPIを使うのには条件があり一般のユーザはいきなり使えません（アフィリエイトの実績が必要）。また他のECサイトのAPIも試したのですが、在庫状況がリアルタイムに反映されず正しい情報が取得できない為、自作しようと思いました。相手のサーバにも負荷をかけ続けないように長期的には動かさず、監視を並列して行いません。アクセス制限をもらったら解除されるまで待ってまた動かそうと考えていました。岡崎市立中央図書館事件では1秒に1アクセスは常識的と捉えられているようなので数秒単位なら問題ないのかなと考えております。
> 数秒単位なら問題ないのかなと考えております。
問題ないかもしれませんし、問題あるかもしれません。重要なのは、問題あるかどうかの判断ができるのはAmazonだけ（あるいは訴訟になったら裁判所？）、ということです。
Amazonが「問題ある！」と判定した場合に発生するコスト（Amazonとのやりとりにとられる時間や、場合によっては訴訟リスクなど）を許容できるのであれば、スクレイピングは選択肢としてあり得るのかもしれません。ただ、たいていの場合は余計なリスクは避けるに越したことは無いと思います。
大変申し訳ございませんでした。Amazonでの監視は行いません。規約でツールでの情報収集が認められている場合のみ行おうと思います。失礼しました。
一方、スクレイピングではなくAPIであれば、公式にリクエスト数を明示してくれることもあります。Amazonの場合は、公式に「8,640～864,000リクエスト／日」と明示していますので、その範囲内であれば安心して使えます。
https://affiliate.amazon.co.jp/help/node/topic/GW65C7J2CSK7CA6C/
ああ、質問を編集されたのですね。Amazonは対象外の旨、わかりました。
（とはいえ、ツールによる情報収集を規約で認めているECサイトなんてあるのかな、という疑問はありますが）
ないでしょうね。私なら絶対に禁止します。
あなたの回答
tips
プレビュー
