MySQLにCSVファイルを定期的にLOADして差分のみテーブル更新するベストプラクティス

Question

##■質問
例えば、RSSなど日々更新データが継ぎ足しされるファイルから、内容の差分だけをMySQLのDB/テーブルに定期的にインポートしたい（＝テーブルをUPDATEしたい）場合の慣習やベストプラクティスを教えていただけますでしょうか。

##■これまでに考えたこと
とりあえず、LOAD DATA LOCAL INFILE <csvファイル名> した後に、MySQL内でデータを整えるのがいいのか、あるいはインポートする前の下処理として一定条件で整理されたcsvを生成するべきなのか、などいくつか手順が思いつきましたがどちらが一般的なのか、ベターなのかよくわかりませんでした。実践的な観点からメリット、デメリットなどアドバイスをいただけると誠にありがたいです。

どうぞよろしくお願い申し上げます。

Answer 1

例えば、RSSなど日々更新データが継ぎ足しされるファイルから

システムを作る時は最初からそのシステムがこれからどんな変更があり得るか、その変更にたえられるか、どれだけ長く使えるように作っておくかをきちんと考えます。
最初から日毎に別ファイルで用意しておくのが吉では？急にデータ量が増える事があってもいちばん負荷が少ないのでは？

Comments

[fukazume]

ありがとうございます！確認させていただきたいのですが、日毎の生データはMySQLにインポートする必要はなく、あくまでアーカイブとして別途ストレージに保存しておくと管理上いろいろと良い、という意味でしょうか？お手数おかけしますがよろしくお願い申し上げます。

[Orlofsky]

質問の内容から、日毎のデータだけインポートするだけで済む案件では？
過去のデータのUPDATE, DELETEが必要なら、質問にきちんと情報を追記しては？

[fukazume]

質問文中の「内容の差分だけをMySQLのDB/テーブルに定期的にインポートしたい」＝UPDATEが必要、の意図でした。追記いたします。ありがとうございました。

[Orlofsky]

PRIMARY KEY が使えるなら、 INSERT ... ON DUPLICATE KEY UPDATE https://dev.mysql.com/doc/refman/5.6/ja/insert-on-duplicate.html が使えるでしょうし、削除データがあればDELETEします。

Answer 2

規模によります
カラム数が20～30で極端に長いデータがなく、全レコードで1万件以下なら
トランケートして毎回流し込んでも大した負荷ではないでしょう。
毎回何万件も更新されるなら差分を予めとらないと破綻するかもしれません

Comments

[fukazume]

早速ありがとうございます！規模感など参考になりました。また一部、私の説明不足でした。RSSのように日々更新され、かつ新しいレコードが1件追加されたら古いレコードが1件削除されるような（＝直近1ヶ月分しか保存されていないような）ファイルから、継ぎ足しでMySQLに全日付分のタイトルやカテゴリ、投稿日時などのレコードを蓄積していくイメージですとどのような継ぎ足し方が良いでしょうか？