メモリに乗らない大きなデータの扱い方について

Question

メモリに乗らないデータの出力方法

現状

非常に大きなデータが入った辞書があります。
これまではjsonに出力していたのですが、今回扱うデータが大きすぎるのか何時間待っても出力されません。

教えて頂きたい事

①辞書をファイルに出力する前にデータを圧縮して出力したらいいのではないか？と安直に考え下記の様にやってみましたが、考え方として合っているのかどうかいまいち分かりません。この考え方の方向性は合っていますでしょうか？(以下のdataはデータのイメージです)
②辞書を作成する時点でデータを圧縮するなど、他の方法があるのであれば教えて頂きたいです。

data={'1993-04-02': [
{'aa': [[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0]],
'label': 0,'bb': '44','date': '1993-04-02'},
{'aa': [[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0]],
'label': 1,'bb': '25','date': '1993-04-02'},
{'aa': [[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0]],
'label': 2,'bb': '28','date': '1993-04-02'},
{'aa': [[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0]],
'label': 3,'bb': '12','date': '1993-04-02'}],
'2003-05-01':[ 
{'aa': [[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0]],
'label': 4,'bb': '44','date': '2003-05-01'},
{'aa': [[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0]],
'label': 5,'bb': '25','date': '2003-05-01'},
{'aa': [[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0]],
'label': 6,'bb': '28','date': '2003-05-01'},
{'aa': [[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0],[0, 0, 0, 0]],
'label': 7,'bb': '12','date': '2003-05-01'}]}

import gzip
import pickle
dat = pickle.dumps(data)
print(dat)
with gzip.open('dict.pickle.gz', mode='wb') as fp:
    fp.write(dat)

Comments

[mn.py]

小さいデータで試しているのですが、サイズはかなり圧縮されましたが、書き込みはむしろ遅くなっています。。
メモリなどの知識がないので、そもそもこの考え方があっているのかわからないです。

[bsdfan]

実際のデータの大きさや、やりたいこと次第で、取れる方法が変わりそうですが、
とりあえずpickle.dumps(data)でbytesを生成してからそれをファイルに書き込んでいるのを、
gzip.open()したファイルに直接pickle.dump(data, fp)するようにした方が、メモリの消費は少ないはず。

[mn.py]

ありがとうございます。元は5.5G程のjsonのデータですが、そのデータを元にして計算処理したものを辞書にして出力しようとしています。辞書の大きさはわからないのですが、おそらく6G程度のファイルになって出力されると思います。

[TakaiY]

困っていることが何なのかよくわかりません。

「辞書があります」ということなので、すでに計算終った結果がpythonの辞書としてメモリ上に載っているのかと思ったのですが、そうでえはなさそうですね？

とすると、「何時間待っても出力されません」という状況はどのような状況ですか？
データは 読み込めている？ いない？
(Swapに入っているのかな？)

[mn.py]

ありがとうございます。わかりにくくてすみませんでした。デバッグしてみたら、どうやら元のjsonファイル（５G）がちゃんと読み込めていなかったようです、、、、。元ファイル作成のとこをから見直さないとダメですね(~_~;)

Answer 1

辞書データ生成をジェネレータにできるならメモリ使用量を激減できますよ。
jsonにするとメモリ消費してしまうので、1行毎に出力する処理にする必要があります。

Comments

[mn.py]

辞書データ生成をジェネレータに、、ちょっと全くわからないので調べてみます！
入力データはjsonです！