サイトに変更があれば知らせてくれる方法

Question

「自動でECサイトの情報を取得して、表示する」みたいなツールがあるんですが、該当するECサイトの自分の商品にたとえば、コメントがあった時に、ツール側に即反映させるにはどうしているのでしょうか？

「同期する」みたいなボタンがあり、それを押すか、画面を再読み込みすると、それがトリガーとなってコメントを取得しているのですが、1000個以上商品があっても10秒くらいで反映されているんです。

普通に「同期する」」＝＞「1000ページ分読み込んで、更新があれば処理する（seleniumなどで）」だとおもったんですが、

1つずつコメントを取得するならば、裏でseleniumなどを使うにしても、1000ページもあれば10秒では無理だと思います。（これはseleniumなどを使わずにスクレイピングで処理しているのかな、、、？と思ったのですが、少なくとも1000ページは読み込まなければなりませんよね）

任意のサイトに変更があった時に知らせてくれる方法何てあるのでしょうか？

Answer 1

サーバーで常時チェックしているのかもしれないし、API があるのかもしれないし、RSS を購読しているのかもしれないし、「ある人が素早く昇進したのはどうやったんでしょうか？」レベルの曖昧な質問で特定できません。

同じようなものを自分で作るつもりが無いならここで質問する意味はありませんが、作るつもりならもっと詳しく観察して特徴を掴むべきでしょう。
もしかしたらドキュメントに書いてあるかもしれないし、ソースが公開されているかもしれません。

Comments

[Zuishin]

調べたらすぐわかることだと思います。

Answer 2

ポイントは以下の2点でしょう。

1. そのツールがECサイトから提供されているものか
2. そのECサイトで通知機能があるか

1ならば自分たちのサイトなので何でも出来ますね。
直接DB読めばいいだけなので時間もかからないでしょう。

2の場合もそこそこ楽です。
通知というのは、コメントがあったときECサイトのマイページにお知らせがあるとか、twitterに投稿するなど。
商品一覧ページ(検索結果)があり、コメント数が表示されてたりするのも考えられます。
そのアクションをユーザの代りに拾ってあげればいいだけです。

1でも2でもないときは、たしかに1000ページを10秒で処理するのは難しいと思います。
Lambdaで1000URLに同時にリスエストを投げればいけるかもしれません。
でも、実際短時間で処理が終わるのか、そのコストを誰が負担するのかなど、いろいろ疑問が出てきます。

具体的なツール名を教えてもらえませんか？

Comments

[renren643]

確かに、通知機能があればできますね。調べたところ通知機能がありました。
商品を一括で削除できる機能とかもあるんですが、それは普通に10分以上かかっていました。
やはり通知機能ですね。