任意のサイトが更新されたら情報を取得しに行くようなクローラーを作りたいんですが、どのようにやるのでしょうか?
一つ考えたのは、(例えばツイッターなら)
1、現時点までにされたツイートを全て取得し、DBに保存
2,cronで定期実行できるようにし、(例えば1分間隔で)ツイートを取得
3,そのツイートがDBにあれば最新ツイートとして保存、なければまだ更新されていないとする
というのがあるかと思うのですが、
この方法以外に考えられる方法はあるでしょうか?
回答2件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/08/16 19:06