質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Ruby on Rails 5

Ruby on Rails 5は、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

Q&A

解決済

1回答

2861閲覧

RailsでNoMemoryError (failed to allocate memory)

kozica

総合スコア58

Ruby on Rails 5

Ruby on Rails 5は、オープンソースのWebアプリケーションフレームワークです。「同じことを繰り返さない」というRailsの基本理念のもと、他のフレームワークより少ないコードで簡単に開発できるよう設計されています。

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

0グッド

0クリップ

投稿2018/08/07 00:23

rails console上で下記コマンドを実行すると
NoMemoryError (failed to allocate memory)
となります

ruby

1a = Array.new 2h = Hash.new 3sample = PersonalLog.all 4sample.each do |x| 5 h[x.macaddr] = x.decrypted_data 6 a.push(h) 7end 8p a 9

personal_logsテーブルには"macaddr"カラムがありMACアドレスが格納されており、"data"カラムには暗号化された個人情報が入っています
上記ではMACアドレスをKeyにdataカラムをValuにした連想配列を作成しております
これをrails consoleで実行すると最後にエラーが出てきます

ruby

1irb(main):008:0> p a 2Traceback (most recent call last): 3NoMemoryError (failed to allocate memory)

これは処理が多すぎてメモリ不足でできないということなのでしょうか?
お力を貸して頂きたいです
空きメモリーは下記のようになっております

$ free -m total used free shared buffers cached Mem: 996 293 702 0 32 121 -/+ buffers/cache: 139 857 Swap: 0 0 0

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

ActiveRecordのリレーションに対して.eachをかけると、いったん全データをメモリに展開してから1つずつたどり始めます。巨大なモデルに対しては確実にメモリが足りなくなります。

代わりに、テーブルを何件かごとに分けて引きながら進める.find_eachを使いましょう(参考)。

投稿2018/08/07 00:37

maisumakun

総合スコア145121

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kozica

2018/08/07 00:44

find_eachに変えても同じエラーになってしましました personal_logsテーブルのレコードは約4万件あるためfind_eachでもメモリ不足になるということでしょうか?
maisumakun

2018/08/07 00:46

> 上記ではMACアドレスをKeyにdataカラムをValuにした連想配列を作成しております となっていますが、連想配列にするのだったらaにpushする必要もないのではないかと思います。
kozica

2018/08/07 00:51

確かにそうですね。 a.pushが原因ということでしょうか?
maisumakun

2018/08/07 00:56

これがあることで、配列がデータ件数だけ確保されてしまいます(なければ、MACアドレスの数だけHashにデータが入るだけとなります)。 元のデータ件数がわからないのでなんとも言えませんが、1つの要因かもしれません。
kozica

2018/08/07 01:06

レコードが4万件ほどあり、MACアドレスとdataもその分あります。 疑問なのがハッシュに関してもデータ件数だけ確保すると思うのですが、配列を加えるとハッシュと配列で2倍データ確保?することになるからということでしょうか? それで配列を消すことで半分になったということでメモリ不足解消??
maisumakun

2018/08/07 01:11

MACアドレスが同じものは上書きされるので、その分減るということも考えられます。
kozica

2018/08/07 01:16

え! これだと同じMACアドレスは上書きされてしますのですか! 確かに考えればそうでした、、、 上書きされては困るのでそこただ追加されいくように改善致します
kozica

2018/08/07 02:06

やはり同じキーでも上書きせずに格納する必要があるので、a.push(h)は失くせないです。 ただ、そうするとメモリー不足のエラーになる、、、 よい改善方法はありますでしょうか?
maisumakun

2018/08/07 02:10

> やはり同じキーでも上書きせずに格納する必要があるので、a.push(h)は失くせないです。 同じhに書き込み続けている以上、pushしても上書きは改善していませんが。 メモリに置けないのなら、ファイルなり標準出力なりに都度書き出す、という手段を考えたほうがいいかもしれません・。
kozica

2018/08/07 02:31

> 同じhに書き込み続けている以上、pushしても上書きは改善していませんが。 上記からhashを毎回初期化して実行したところうまくいきました hash定義をeach内に入れて毎回空のハッシュにしました 色々勉強になりました! ご丁寧に対応、素早いレスありがとうございました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問