Pythonの辞書で大規模データを扱うと遅くなってしまう

Question

Pythonで大規模のテキストデータを扱おうとしたのですが、量が増えるにつれ、かなり遅くなってしまうのですが解決方法などありますでしょうか？
具体的には以下のように単語をキーにした辞書で、その情報をリストで追加する形を取っています。
プログラムの途中までで出力したところ、辞書のサイズは120000ほど、一度の参照と追加に20msほどかかってしまっています。容量が少なければ0.005msくらいなのでかなり遅くなっていることが分かります。

環境はメモリ16GのCPUがi7で、pythonのバージョンは3.6です。
メモリの使用量は監視していましたが、ベンチマークを測った時では半分も使用していませんでした。

d[word] = d.get(word, []) + [info]

よろしくお願いします。

Answer 1

リストの生成に時間がかかっているのかもしれません。

リストどうしを+すると新しいリストがメモリに作成されるので効率が悪いです。
.appendでin-placeに要素を追加するほうがいいと思います。

d.setdefault(word, []).append(info)

Comments

[ytkt]

その通りだったみたいです。ご指摘いただいたように修正してみたら倍以上早くなりました。
ありがとうございます。

Answer 2

「そんなに遅くないだろう」と思って測ってみたらやっぱり遅くなかったです。

from collections import deque
from os import urandom
from time import perf_counter

from pygal import Line


laps = deque()
d = {}
for word in range(120000):
    lap = perf_counter()
    d[word] = d.get(word, []) + [urandom(10)]
    laps.appendleft(perf_counter() - lap)
Line()(*laps).render_in_browser()

辞書とは関係のない別の要因で遅くなっているんじゃないでしょうか？

測定PC情報

C:\Users\sakurai\Desktop>wmic path Win32_Processor get name
Name
Intel(R) Core(TM) i7-7600U CPU @ 2.80GHz

Comments

[ytkt]

辞書というよりもlistの連結に時間がかかっていたみたいです。
検証までしていただきありがとうございます。

[YouheiSakurai]

いえいえ、pygalの練習にグラフを書いてみたかっただけです。解決されたようで良かったです。

Answer 3

DB の利用を検討してみてはいかがでしょう。
状況によってはインメモリデータベースという選択肢もありえるかもしれません。

Comments

[ytkt]

sqliteのインメモリで行ってみましたが、結構時間かかってしまってます。
Redisなども検討しましたが、標準もしくはライブラリでなんとかしたかったので、今後検証してみます。