正規表現を使用してリストから検索をかける

Question

前提・実現したいこと

正規表現を使用して大規模なリストの中から検索をかけて一致したもの全てを出力させたいです。
この際database.txtには7000万ほどデータが含まれています。これを軽量化し高速化させる方法はありますか？

該当のソースコード

from tqdm import tqdm
import re

with open("list.txt", "r", encoding="utf-8") as f:
    re_list = [re.compile(i.split(" - ")[1].split(":")[-1].replace('*', '[0-9a-zA-z\-]').replace('.', '.') + ":") for i in f.read().strip().split("\n")]
print(re_list)

with open("database.txt", "r", encoding="utf-8") as f:
    l_re_match = []
    database = f.read().strip().split("\n")
    for _ in tqdm(re_list):
        l_re_match.extend(list(set([i for i in database if _.match(i)])))

with open("output.txt", "w", encoding="utf-8") as f:
    f.write("\n".join(l_re_match))

for i in l_re_match:
    print(i)

Comments

[takasima20]

データベース使ったら?

[KojiDoi]

list.txt database.txtはそれぞれどういう内容なのでしょうか?

正規表現でスライスしようとしているようですが、それにしてはreplaceを2回も挟んだりして、ここに無駄に時間を掛けてるような気がします。

[KohnoseLami]

先にlist.txtに格納されている伏せ字で構成された文字列を正規表現に変換しています。
Koh********
⇣
Koh[0-9a-zA-z\-][0-9a-zA-z\-][0-9a-zA-z\-][0-9a-zA-z\-][0-9a-zA-z\-][0-9a-zA-z\-][0-9a-zA-z\-][0-9a-zA-z\-]
⇣
KohnoseLami

といったふうに一度伏せ字を正規表現に変換してそれを使用してdatabaseから抽出しています。
これを高速でやる方法が見当たらず質問させていただきました

[KojiDoi]

これがpythonの学習目的ではなく、実務上の要請なのだとすると、grepとかsedとか使ったほうがずっと高速じゃないですかね。

[KohnoseLami]

なるほど...
そうですね、私がかけるのがPython、PHPくらいなのでPythonでやろうと考えていましたがやはりそういった言語やMySQLでデータベースを構築してしまったほうが早いですかね...

[KojiDoi]

データベース化するにしてもSQLで処理できるような形にまずは加工しないわけにはいかないでしょう。抽出作業を高速化したいということですから、これは前処理の問題です。

[KojiDoi]

ところで、OSは何でしょうか。

[KohnoseLami]

Windowsです

Answer 1

• 一気に読まない。read()はファイル全量を一度にメモリへロードします。行単位で正規表現を適用するなら、readline()で1行ずつ読み込んで処理しないととんでもなく遅くなると思われます。
• マッチした行を配列に貯めない。どのくらいマッチするかは謎ですが相当量のマッチ行がl_re_matchに溜まればそれもメモリを大きく消費します。単純にoutput.txtに行を書き出すのであればマッチしたらすぐにwriteしてしまった方が良いでしょう。
• もし「明らかに正規表現にマッチしない」と事前にわかる行の判別ができるのであれば、正規表現を適用せずにスキップすることで処理時間を減らせるでしょう。

とにかく、消費メモリを削減しないと動作が速くなりません。メモリ不足でスワップが発生するのが最もボトルネックになります。

Comments

[KohnoseLami]

回答ありがとうございます！
readlineをすっかり忘れていました。

全て正規表現でのチェックが必要のためreadlineで試してみたいと思います。
大体テキストの総量などは、データベースが7000万行、正規表現を一致させるためのテキストが20000行、20000行のテキストを全て正規表現に置き換えてそれに一致するものを出力させたいです。
大体1個の正規表現で0~3000個出力されます