重複データがないようにDBでデータ管理する方法について

Question

###前提・実現したいこと
RSSデータを定期的に取得して、最終的に1日単位でRSSで配信されたデータの一覧を取得したいと考えてます。
たとえば、15分単位などで取得すると、データが更新されていなくて、重複データが出ると思います。
その重複データがないようにDBで管理したいと考えています。

Ruby on Railsを使用するつもりです。
SQLの操作はActiveRecordを使って実施して、DBはSqlite3を使うつもりです。

###質問内容

色々方法はあると思いますが、どのような方法があるのでしょうか。
また、どの方法が適しているのでしょうか。

自分で思いついた方法は以下です。
[その1]

1. RSSデータ取得
2. すでにデータがある場合→既存の重複レコードを削除して、挿入

もしくは
既存の重複レコードをアップデート
※ これもDELETE→INSERTのほうがいいのか、UPDATEのほうがいいのか
どちらか適しているのか・・・・

[その2]

1. RSSデータ取得
2. とにかくすべてのデータを挿入
3. 検索時に最新のuniqueなものを取得

初心者のようなような質問で恐縮ですが、「このサイトが参考になる」や「この本を見て勉強しろ！」とか
「この方法がいいと思う」など、ご助言いただけると幸いです。

よろしくお願いいたします。

Answer 1

RSSの仕様で各記事の作成日時ではなくRSS自体の最終更新日時があるはずですので、まずはこれをチェックするのが良いと思います

Comments

[satta_m]

最終更新日時を基準に、取得するかしないかで処理を減らすことも出来ますね。
参考になります。ありがとうございます。

Answer 2

15分ごとなど一定の間隔で取得するのであれば、

1. 前回の取得時刻以降に更新されたもののみを取得する（=15分間隔であれば15分以内に更新されたデータがなければスキップする）
2. 15分以内に更新されたデータがあれば取得して重複レコード（※）がなければデータを作成する

※ 「重複レコードかどうか」についてはRSSで配信されているデータに記事のIDなどなにかしら一意なものがあれば、それを保存しておいて重複をチェックするというのがよいのではないでしょうか。

ご質問される際に実際のRSSデータの内容や構造を添えていただけると、みなさんより具体的な回答ができるかと思います

Comments

[satta_m]

ご回答、およびご指摘、ありがとうございます。
ここに書くのが適切かどうか定かではないですが、今回やりたかったのはhatenaブックマークのRSSを基準にして、一日単位でその一覧を出したいなーと考えていての質問でした。
まぁ探せばそういうサービスなりページなりはあると思うのですが自分でまとめてみたいなと思っての取り組みです。ｗ
重複レコードの考え方について、ご指南いただきありがとうございました。

Answer 3

重複レコードがあれば、スキップすればよいのでは？

Comments

[satta_m]

連絡が遅くなってしまいすみません。
重複レコードがあったら、最新のものを保持するべきと思いこんでいましたが、一覧とるだけだったら確かにスキップしても問題ないですね・・・・。
目からうろこのご意見でした。
ありがとうございました。