csvのデータから取り込んで、dbを更新または新規作成したい。

Question

■　CSVのユーザー情報とdbのユーザー情報を突合し、変更点がある場合は更新する
■　CSVに存在しないユーザーは新規に登録する
をしたいと思ってます。
@csv_users = User.create_list_from_csv(params[:file])
で、ファイルからデータを取り出して@csv_usersに代入しました。
その後に↓↓
①@csv_usersにちゃんとデータが入っているかどうかの確認をしたい（validate）
②Userモデルに該当するユーザーが、@csv_usersにいた場合は、更新（update）する
③Userモデルに該当するユーザーが、@csv_usersにいなかった場合は、新規作成（create）する

としたいのですが、

単体だと、User.where(id: csv_user.id ) == nil　で条件分岐できると思うのですが
複数人の場合だとどうすればいいのでしょうか？？
eachなど使用して、繰り返し処理を行うといいのでしょうか？

ご教授お願いします????????

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
csvからデータをインポートした場合、各カラムの情報はparametarではないので、
validate(params[:id])といった形にするのは難しいですよね？
＊すでに createアクション、updateアクションで、model/user.rbにvalidateのメソッドを作成していたため、同じものを使いたかったため）

    def import
        @csv_users = User.create_list_from_csv(params[:file])

            @csv_users.each do |csv_users|
               import_user = User.create!(
                   id: values["id"],
                   name: csv_users.name,
                   age: csv_users.age,
               )
            end
            redirect_to users_url
    end

 class << self
        def create_list_from_csv(file)
            csv_articles = []
            CSV.foreach(file.path, headers: true) do |row|
                values = row.to_h
                csv_articles << User.new(
                    id: values["id"],
                    name: values["name"],
                    age: values["age"],
                )
            end
            csv_articles
        end

Comments

[no1knows]

> ■　CSVのユーザー情報とdbのユーザー情報を突合し、変更点がある場合は更新する
> ■　CSVに存在しないユーザーは新規に登録する

この要件からだけだと、一見すると、RailsからユーザーのCSVをエクスポートすれば良いように見えますが・・・
DB側もCSV側も双方でユーザーレコードの追加・更新があるということなのでしょうか？

[oiykram]

no1knowsさん　返信ありがとうございます。いや、更新や新規追加があった場合にCSV側でデータを送ってDBと照合して変更する形です。。

Answer 1

おっしゃる通り、eachで良さそうに思えます。

eachの中身としては、find_or_initialize_byおよびupdateの組み合わせで要件を満たしそうです
(以下参考記事です。updateとupdate_attributesは同じです)
https://www.te-nu.com/entry/2017/02/16/233416

また、例外を発生させたいならupdate!にすれば大丈夫かと思います。
ここらへんを詳しく知りたい場合は以下参考記事が役立つかもしれません。
https://qiita.com/tyamagu2/items/8abd93bb7ab0424cf084

Comments

[oiykram]

kumackeyさん　ありがとうございます。参考にして検討してみます！

Answer 2

validateした結果、NGになったものをどうするのか、によって作戦は変わりますが、いずれにせよ一件づつvalidateするしかないです。
例えば

users = csv_articles.inject({true =>[],false => []]){|user,res|
  res[user.valid?] << user
}

として、users[true]にvalidなもの、users[false]にinvalidなものを集めて処理するということになります。
validのものを処理するには、createとupdateが混在する前提ですと
rails6ですとまとめて処理出来る手段が用意されたそうです。まだ試してないです。
rails5ですとないので一件づつありなしを find_or_initialize_by で試しながら、ということになります。
まとめてinsert/updateしてくれるgemがありますが、これdatabaseエンジンによって update が動かないので、ありなし分けて行う必要がでてきます。

csv_articles find_or_initalize

Comments

[oiykram]

winterboumさん　ありがとうございます。
validateしてダメだった場合には、その箇所の指摘をしてもう一度インポートする形にしようと思います。参考にしてやってみます！

[oiykram]

winterboumさん
users = csv_articles.inject({true =>[],false => []]){|user,res|
res[user.valid?] << user
}
は、例えば、
validates :name, uniqueness: true
validates :age, presence: true
を設定しているとして、
validatesがtureなのもは、users[true]に格納され、
validatesがfalseなのもは、users[false]に格納され、
その後、それぞれに処理するという認識であってますか？？

[winterboum]

合っています

[oiykram]

ありがとうございます。

[oiykram]

NoMethodError in UsersController#import
undefined method `valid?' for {true=>[], false=>[]}:Hash Did you mean? value?
Extracted source (around line #26):

でエラーが出てしまいましたね????????

[winterboum]

ん？ {true=>[], false=>[]}　に valid? code を写し間違えてるね、きっと

[oiykram]

def create_list_from_csv(file)
csv_articles = []
CSV.foreach(file.path, headers: true) do |row|
values = row.to_h
csv_articles << User.new(
id: values["id"],
name: values["name"],
age: values["age"],
)
end
users = csv_articles.inject({true =>[],false => []}){
|user,res| res[user.valid?] << user
}
end
ではないですか？????

[winterboum]

あ！
ごめん間違えたのは私。
{　| red, user| res[user.valid?] << user　}
です。
each_with_object の話を寸前までしてて、それが残ってた

[oiykram]

結果と要素が逆だったんですね。私も気づかず申し訳ありません。
親切に解説していただきありがとうございます。
TypeError in UsersController#import
no implicit conversion of true into Integer
とエラーが出てしまいました。なんとか解決してみようと思います。

[winterboum]

typo　| red, user　⇒　| res, user

[oiykram]

ありがとうございます。そちらは修正できました！

[oiykram]

TypeError in UsersController#import
no implicit conversion of true into Integer
のエラーは、user.vaild?する時、各カラムの属性に問題があるのでしょうか？

[winterboum]

implicit conversion of true into Integer　は
hash[true]=*** の部分で　arry[true] と解釈されている、ということだと思うので、上の修正で通るかと思ったのですが。
エラーメッセージで行番号とかどの行であるとか出てませんか？

[oiykram]

def create_list_from_csv(file)
csv_users = []
CSV.foreach(file.path, headers: true) do |row|
values = row.to_h
csv_users << User.new(
id: values["id"],
name: values["name"],
age: values["age"],
)
csv_users
users = csv_users.inject({true =>[],false => []}){
| res, user | res[user.valid?] << user
}
end
↑↑
現在のコードは上記です。

エラーでは、
TypeError in UsersController#import
no implicit conversion of true into Integer
Extracted source (around line #22):
| res, user | res[user.valid?] << user

となってますね????????

[winterboum]

users = csv_users.each_with_object({true =>[],false => []}){
| user,res | res[user.valid?] << user }
だとどうでしょう

[oiykram]

うまく、動作できました！！違いはなんだったのでしょうか？？調べてみます。
users[true]とusers[false]できちんとvaildされているのも確認できました。
/////////////////////////////
[]
[]
[]
[#<User id: 10, name: nil, age: 12, created_at: nil, updated_at: nil, note: "千葉", text: "え", number: 4444>]
[#<User id: 10, name: nil, age: 12, created_at: nil, updated_at: nil, note: "千葉", text: "え", number: 4444>]
[#<User id: 10, name: nil, age: 12, created_at: nil, updated_at: nil, note: "千葉", text: "え", number: 4444>]
Redirected to http://localhost:3000/users
Completed 302 Found in 15ms (ActiveRecord: 2.6ms | Allocations: 8563)
/////////////////////////////

p users[false]をしたら、上記のように、コンソール上で、3回出てしまいましたが????