ruby on rails 多次元配列の中身の配列をcsvの文字列にする方法

Question

お世話になっております。
おそらく物凄く初歩的な質問になってしまうのですが、ご教示頂ければと思います。

以下のような多次元配列があった場合に、中身をcsv文字列にした１次元配列に変換したいです。
単純にeachでぐるぐる回して.to_csvすると、速度面で問題があるので、他になにか早い方法がないかご教示いただきたいです。

//実際にはarrayが何十万行もあるため、グルグル回してto_csvする方法だと速度面で問題があります。
array = [[1,2],[3,4],[5,6],[7,8]]
array.each do |item|
  item = item.to_csv
end

よろしくお願い致します。

RubyOnRails5
Ruby2.4

Comments

[gouf]

その処理として要求されている動作・背景はどのようなものでしょうか？ たとえば ActiveJob で遅延処理をして、ユーザが頃合いを見てダウンロード可能になったデータを取得するといったことは可能でしょうか?

[hiepita1]

ご質問ありがとうございます。

だいぶ端折ってしまったのですが、大量データをpostgresqlにインサートすることを最終目標としています。計測したところ、copyコマンドでcsvを流すのが最も速度が早かったので、２次元配列の中身をcsvに変換してcopyコマンドで流そうとしています。しかし、insert部分ではなくcsvに変換する部分がボトルネックになってしまいました。遅延処理等は検討しているのですが、今はとりあえずそもそもの処理を早くすることを目標としています。

Answer 1

とりあえずbenchmark-ipsを用いてベンチマーク取ってみました。
追記: to_csvが遅い理由がわかったのでCSV.newを使ってみるものを追加

require 'benchmark/ips'
require 'csv'
array = Array.new(100_000){|i| [i, rand]}

Benchmark.ips do |x|
  x.report("to_csv") { array.map{|i| i.to_csv}.join }
  x.report("join") { array.map{|ary| ary.join ','}.join }
  x.report("CSV"){
    csv = CSV.new ""
    array.each{|it| csv << it }
    csv.string
  }
  # CSVではないが参考までにMarshal.dump (Rubyのデータ吐き出し系では最速のハズ)
  x.report("marshal"){ Marshal.dump array }
  x.compare!
end

結果は

Calculating -------------------------------------
              to_csv      0.218  (± 0.0%) i/s -      2.000  in   9.170508s
                join      5.510  (± 0.0%) i/s -     28.000  in   5.094200s
                 CSV      2.628  (± 0.0%) i/s -     14.000  in   5.329939s
             marshal      8.665  (± 0.0%) i/s -     44.000  in   5.081920s

Comparison:
             marshal:        8.7 i/s
                join:        5.5 i/s - 1.57x  slower
                 CSV:        2.6 i/s - 3.30x  slower
              to_csv:        0.2 i/s - 39.68x  slower

と、「配列を回す」というよりは「to_csv」が遅い
という結果になりました。

---

to_csvは1行ごとに

(CSV.new("") << row).string

を行うため
複数行を手に入れるために複数回繰り返すのは完全に無駄です。

Comments

[hiepita1]

- 細かいベンチーマーク、原因の解明までしてくださってありがとうございます！非常に参考になりました。
- `string.join(',')`にしたところ、処理時間が以前の５分の１になりましたので、こちらを採用したいと思います。