Rubyでのデータ処理を高速化したい CSV->GDBM->読み込んで計算のプロセス

Question

Rubyでデータ処理を高速化したいと思っています。

CSVのデータは、次の様に90000行で各20個のデータがあります。

Number,p1,p2,p3,p4,...,p20
00001,48,74,32,74,...,144
00002,98,78,62,71,...,164
00003,49,84,36,41,...,149
.
.
.
89000,78,44,37,81,...,18
90000,88,79,34,15,...,14

※Numberは必ずしも1-90000まであるわけではなく、抜けがあります。またこの例では全て数値ですが意味のある文字が入っていることもあります

これをまずはGDBMへ変換し、その後Marshalで読み込んで使用しています。
読み込みは、Number=00005のとき、p14とp18をひっぱる、Number=00006のときp9とp20をひっぱる、のようにNumberが00001⇒90000まで各行で事前に決めたアルゴリズムに沿って必要なpの値をひっぱってきます。

この、Numberが00001⇒90000までの処理を、ひっぱってくるpの位置を変え数百回繰り返すのですが、処理に時間がかかってしまいこれを高速化したいです。

数百回する部分をThreadで並列処理を試みましたが高速化の効果は得られませんでした。
何かコードに工夫を加えるか、それをも別の方法を使って高速化できないものなのでしょうか。(narrayを使うとか?)。もしくは、rubyで大量のデータ処理は不向きなので、C言語等に取り組むべきなのでしょうか。(rubyは扱いやすく好きなので、できればrubyで達成したいです)

実行しているコードのサンプル

require 'gdbm'
require "csv"

#DBファイルの作成
list = GDBM.open("data.db",0664,GDBM::NEWDB)

#CSVからDBファイルへ書き換え
CSV.foreach("data.csv", headers: true) do |row|
  key = row["Number"]
  list[key] ||= Marshal.dump([])
  list[key] = Marshal.dump( Marshal.load(list[key]) << row )
end

#ここまでの時間は気にならない
#これより下記の作業をxとyの値を変えて百回繰り返す
#nowを1から90000まで変えて各行の必要なpをひっぱりだす

100.times{

now = 1
answer = []
loop{

  #listにnowの値のキーがあるか確認
  i = 0
  until list.has_key?(((now + i).to_i.to_s)) == true
    i +=1
  end
  now = now + i

  #nowが90000に近かったら終わりにさせる
  if Marshal.load(list[(now + i).to_i.to_s] )[0]["Number"].to_f > 89500
    exit
  end

  #Listからｐの値をひっぱてくる
  start = Marshal.load(list[now.to_i.to_s] )[0]["p#{x}"].to_f
  finish = Marshal.load(list[now.to_i.to_s] )[0]["p#{y}"].to_f
  answer << [now, start + finish]
  
　now += 1

}

}

Answer 1

計測はしていませんし、どの程度の高速化が必要かも分かりませんが、見るからにMarshal.loadのやりすぎな気がします。
Marshal.dumpで出した文字列を解釈してオブジェクトを新しく作っているので、それなりに時間がかかる処理なはずです。

GDBMは文字列しか扱えないのでこうしているのだとは思いますが、そもそもGDMBはkey-valueストアなので表形式のデータの格納にはあまり向いていません。
どうしても使いたいのであれば、キーを[Numberの値]_[p(n)]といった形にして、値を一つ一つ保存したほうがまだいいと思います。

とはいえ、高速に処理したいということであれば、データをすべてメモリに載せることが必要不可欠です。
メモリが十分にあるマシンを用意してHashを使うなどして処理したほうがいいと思います。

Comments

[kzd847686]

ありがとうございます。
全て独学で基礎が抜けているので大変参考になります。

>キーを[Numberの値]_[p(n)]といった形にして、値を一つ一つ保存したほうがまだいいと思います。
これは全てをキーにして保存してしまうという事でしょうか。もしそういった場合であれば、コードの書き方を教えて頂けますと大変助かります。

>高速に処理したいということであれば、データをすべてメモリに載せることが必要不可欠です。
現状の私のコードだと全てのデータをメモリに載せていなかったのでしょうか。

>メモリが十分にあるマシンを用意してHashを使うなどして処理
CSVのファイルの容量から必要なメモリの量を求める方法はありますでしょうか。今は4MBですが、これをどれほど大きくすれば良いのかわからず…

[Kta-M]

> 現状の私のコードだと全てのデータをメモリに載せていなかったのでしょうか。
https://docs.ruby-lang.org/ja/latest/class/GDBM.html
「GDBMファイルをアクセスするクラス」とあります。
詳細な内部の挙動までは確認していませんが、おそらくファイルから読み込んでいるのではないかと思います。全データがメモリに乗っているということはありません。
全データをメモリに乗せるのが不安だからわざわざGDBMを選択したのだと思っていました。。

> 今は4MBですが、
元データが4MBであれば普通にメモリだけで処理できると思います。GDBMはやめてHashで処理しましょう。

それから、基礎が抜けていると認識しているのであればちゃんと基礎から勉強しましょう。
ここはあなたの抜けている基礎をカバーするためにコードを代わりに書いてあげる場ではありません。成長を願って回答しています。

[kzd847686]

無事にhashでメモリ上に載せることができ速く処理をすることができました。GDBMで6時間かかっていた処理がhashではなんと10分でできました！
大変参考になりました。ありがとうございます！！