RSSのないページから更新情報を取得する方法

Question

RSSが提供されていないwebページから最新の更新情報を取得する方法はあるでしょうか。

以下のようなアプリがあります。
https://www.furimawatch.net/
このアプリは検索条件を登録して、条件にHITした場合プッシュ通知を送信してくれるサービスです。
検索結果が更新されると数秒で検知しプッシュ通知が送信されることから、HTTPリクエストで対象URLの更新を定期的に確認しているとも思えず、どのように最新情報を取得しているのか不思議でなりません。

現在web上から情報を集め解析しており、主にスクレイピングのプログラムを作成しております。次の課題としてこういったプッシュ通知のプログラムを自作し、情報の取得速度の向上と効率化に取り組もうとしております。
このアプリの仕組みがわかる方、ご教授いただけないでしょうか。

Answer 1

スクレイピングによるサービスの提供は、スクレイピング先の許可がない限り悪手です。

記事を書いてますので参考まで
スクレイピング！その前に

Comments

[Koh_]

参考にさせていただきます。
ありがとうございます。
サービスとして提供するつもりはありませんが、気を付けたいと思います。

Answer 2

・対象サイトにプッシュ型APIがある
・対象サイトを定期的にプル（API or ウェブページを定期的にリクエストする）
のどちらかしか無いです。

Comments

[Koh_]

ご回答ありがとうございます。
何万件もの検索条件に対して数秒で検知できるため、スクレイピングによる高頻度アクセスをしているとは考えにくいです。非公開APIを使用しているのでしょうかね。

Answer 3

興味が有ったので考えてみました。正しいかどうか分かりませんが…

https://www.furimawatch.net/

公式ツイッターを見ると”サーバーを増強しました”が結構有ったので
サーバー側で処理しているようです。

どのように最新情報を取得しているのか不思議でなりません。

フリマ系のAPIって見つからないですね。
以下のどれかだと思います。

• 非公開APIを使っている
• 定期的にクロール（HTTPアクセス）している

1.サーバーサイド
2.クライアントサイド

情報の取得速度の向上と効率化に取り組もうとしております。

サーバーサイドでクロールすれば、以下の点でクライアントサイドよりメリットがあると思います。
1.複数ユーザーで同じ対象があっても、サーバー側で1回で集約してクロールできる
2.セッション張りっぱなしに出来る（ならリトライ早いかなぁ）

情報の取得速度の向上と効率化に取り組もうとしております。

いまは大まかにどんな処理をして、どこを早くしようとしています？

Comments

[Koh_]

約１万件あるURLの情報を抜き出し（これは時間をかけてゆっくりスクレイピングさせれば可能）、さらに更新されるURLの情報を常に（なるべく早く）最新の状態にしたいです。ここで上記サイトのようなプッシュ通知が利用できないかと考えています。対象URLが約１万件あるため高頻度のリクエストを送るのはサービス側への負荷が高くなってしまいできません。

セッション張りっぱなしの状態（この状態があまりわかっておりませんが）にすれば実現可能なのでしょうか。またこの場合サービス側サーバーの負荷が高くなってしまう危険性はないのでしょうか。