既存のDBのテーブルをCSVをもとにしてデータ更新したい

Question

railsとmysqlで数万件の企業とその従業員数を検索するサイトを構築しています。
従業員数に変動が多いため、定期的に数千件のデータを更新したく、以下の方法のご相談をさせてください。

＜やりたいこと＞
・既存のcompaniesテーブルを最新のCSVデータをもとにデータ更新したい
・CSVデータとcompaniesテーブルの情報の一致状況によって①〜③の分岐を実現したい
①CSVのidがcompaniesに存在し、その他カラムの情報も一致する場合→何もしない
∟ 更新イメージのid1が該当
②CSVのidがcompaniesに存在し、その他カラムの情報が不一致な場合→データを上書きしたい
∟ 更新イメージのid2,3が該当（number of employeesが変更されている）
③companiesテーブルにidが存在しない場合、レコードを新規作成したい
∟ 更新イメージのid4が該当

＜更新イメージ＞
■既存のcompaniesテーブル

id	title	number of employees
1	aa	100
2	bb	300
3	cc	200

■更新に利用するCSVデータ

id	title	number of employees
1	aa	100
2	bb	500
3	cc	400
4	dd	300

■更新後のcompaniesテーブルの状態（CSVのデータと一致させたい）

id	title	number of employees
1	aa	100
2	bb	500
3	cc	400
4	dd	300

＜検討した方法＞
・変更のあったレコードを1つ1つアップデートする方法→定期的に数千件のデータを更新しなければならないため、db:seedのような方法でCSVから一括更新する方法を検討したく、質問をあげさせていただきました。もし良い方法をご存知の方がいらっしゃれば、アドバイスいただけますと幸いです。

Answer 1

速度的には多分 Orlofskyさんの方法かと。
ただ Rails使いだと生SQLちと腰が引ける、、かも

その場合の選択肢ですが
Rails６ですと upsert_all というのができたのですが Rails５ですね。
すると gem activerecord-import かな。

ただし、activerecord-import は databaseエンジンがなになのか、そのversionは、という制約が有ったかもなので確認要します。

Comments

[NN77]

winterboumさん
railsアプリで扱いやすい方法を教えてくださりありがとうございますm(._.)m教えていただいた方法で対応できるイメージがつきました。railsのアップデートも含め検討して進めてみます！

Answer 2

CSVを取り込むワークテーブルを用意してインポート【MySQL】csvファイルをDBにインポートする方法 して通常のSQLで更新できます。
最後にワークテーブルのDROPをお忘れなく。

Comments

[NN77]

Orlofskyさん
ありがとうございます！方法としては理解しました。早々にアドバイスいただき深謝いたします！