RailsでNoMemoryError (failed to allocate memory)

Question

rails console上で下記コマンドを実行すると
NoMemoryError (failed to allocate memory)
となります

a = Array.new
h = Hash.new
sample = PersonalLog.all
sample.each do |x|
        h[x.macaddr] = x.decrypted_data
        a.push(h)
end
p a

personal_logsテーブルには"macaddr"カラムがありMACアドレスが格納されており、"data"カラムには暗号化された個人情報が入っています
上記ではMACアドレスをKeyにdataカラムをValuにした連想配列を作成しております
これをrails consoleで実行すると最後にエラーが出てきます

irb(main):008:0> p a
Traceback (most recent call last):
NoMemoryError (failed to allocate memory)

これは処理が多すぎてメモリ不足でできないということなのでしょうか？
お力を貸して頂きたいです
空きメモリーは下記のようになっております

$ free -m
             total       used       free     shared    buffers     cached
Mem:           996        293        702          0         32        121
-/+ buffers/cache:        139        857
Swap:            0          0          0

Answer 1

ActiveRecordのリレーションに対して.eachをかけると、いったん全データをメモリに展開してから1つずつたどり始めます。巨大なモデルに対しては確実にメモリが足りなくなります。

代わりに、テーブルを何件かごとに分けて引きながら進める.find_eachを使いましょう（参考）。

Comments

[kozica]

find_eachに変えても同じエラーになってしましました
personal_logsテーブルのレコードは約４万件あるためfind_eachでもメモリ不足になるということでしょうか？

[maisumakun]

> 上記ではMACアドレスをKeyにdataカラムをValuにした連想配列を作成しております

となっていますが、連想配列にするのだったらaにpushする必要もないのではないかと思います。

[kozica]

確かにそうですね。
a.pushが原因ということでしょうか？

[maisumakun]

これがあることで、配列がデータ件数だけ確保されてしまいます（なければ、MACアドレスの数だけHashにデータが入るだけとなります）。

元のデータ件数がわからないのでなんとも言えませんが、1つの要因かもしれません。

[kozica]

レコードが４万件ほどあり、MACアドレスとdataもその分あります。
疑問なのがハッシュに関してもデータ件数だけ確保すると思うのですが、配列を加えるとハッシュと配列で２倍データ確保？することになるからということでしょうか？
それで配列を消すことで半分になったということでメモリ不足解消？？

[maisumakun]

MACアドレスが同じものは上書きされるので、その分減るということも考えられます。

[kozica]

え！
これだと同じMACアドレスは上書きされてしますのですか！
確かに考えればそうでした、、、
上書きされては困るのでそこただ追加されいくように改善致します

[kozica]

やはり同じキーでも上書きせずに格納する必要があるので、a.push(h)は失くせないです。
ただ、そうするとメモリー不足のエラーになる、、、
よい改善方法はありますでしょうか？

[maisumakun]

> やはり同じキーでも上書きせずに格納する必要があるので、a.push(h)は失くせないです。

同じhに書き込み続けている以上、pushしても上書きは改善していませんが。

メモリに置けないのなら、ファイルなり標準出力なりに都度書き出す、という手段を考えたほうがいいかもしれません・。

[kozica]

> 同じhに書き込み続けている以上、pushしても上書きは改善していませんが。

上記からhashを毎回初期化して実行したところうまくいきました
hash定義をeach内に入れて毎回空のハッシュにしました

色々勉強になりました！
ご丁寧に対応、素早いレスありがとうございました！