Pytho3.X 複数の文字列置換の高速化

Question

Python3.X系で、文字列を高速に置換する方法を試行錯誤しておりますが、中々高速化が出来ません。
CPUで並列計算させることはできるのですが、これ以上速度を上げる方法はないでしょうか？
実際には100万件くらいのデータと、辞書が20万語ほどあるデータを置換するプログラムを組んでいます。

環境：Azure VM NV6ｲﾝｽﾀﾝｽ(Vm cpu:6core)

試した方法

#replaceを使った方法
import random 
import time
from tqdm import tqdm

def replacer(text,replace_list):
    rtn_val = ""
    for item in replace_list:
        rtn_val = text.replace(item,"") #置換後文字は、空白（文章の一部を削除したい
    return rtn_val



text_list = ["あいうえお、かきくけこ、さしすせそ！"]* 10000
replace_list =["あい" + str(random.random()) for _ in range(10000)]  #わざと乱数をつけて、辞書の数を多くする
replace_list += ["あい"]
start = time.time()
#replaced_list = [replacer(sentence,replace_list) for sentence in text_list]
replaced_list = [replacer(sentence,replace_list) for sentence in tqdm(text_list)] #tqdmで可視化用
process_time = time.time() - start
print(process_time)

100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10000/10000 [00:33<00:00, 294.98it/s]
33.90771460533142

re.subを使った、方法でも試しましたが、遅いです。

import random 
import time
import re
from tqdm import tqdm
def trans_word2(text,replace_dict):
    return re.sub('({})'.format('|'.join(map(re.escape, replace_dict.keys()))), lambda m: replace_dict[m.group()], text)
 

text_list = ["あいうえお、かきくけこ、さしすせそ！"]* 10000
replace_list = ["あい" + str(random.random()) for _ in range(10000)]  #わざと乱数をつけて、辞書の数を多くする
replace_dict =dict([(item,"") for item in replace_list])
replace_dict["あい"] = "" 
start = time.time()
replaced_list = [trans_word2(sentence,replace_dict) for sentence in tqdm(text_list)] #tqdmで可視化用
process_time = time.time() - start
print(process_time)
 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍                                              | 10000/10000 [12:59<00:00, 12.71it/s]
779.81234680347942

ご教授のほどよろしくお願いいたします。

Comments

[hayataka2049]

意図している置換処理の内容を詳しく説明していただいた方が回答しやすいです。また、正規表現を使わないバージョンのコードは間違っている気がします（rtn_val = text.replace(item,"")で意図した結果になるでしょうか？）。

[KK-31]

対象のリストに対して、置換したい辞書リストを使って、高速に処理したいです。
意図した動きになっています。(rtn_val = text.replace(item,"")

[hayataka2049]

たとえば
replacer("ほげふがぴよ", ["ほげ", "ふが", "ぴよ"])
の結果は
'ほげふが'
で良いということですか？

[hayataka2049]

あと、これもたぶん問題になるので先に書いておくと、
replacer("ぴふほげがよ", ["ほげ", "ふが", "ぴよ"])
が空文字列になる処理方法とならない処理方法もそれぞれ考えられます。どちらを意図しているのかはわかりません。
ということで繰り返しになりますが、
＞意図している置換処理の内容を詳しく説明していただいた方が回答しやすいです。
（できるだけ詳しく、厳密に定義して説明してほしい。場合によってはアドホックな最適化があるかもしれないしさ）

Answer 1

正規表現のプレコンパイルを使ったらどうでしょう。手元では最初のコードの8倍ぐらいになりました。

import random
import time
import re
from tqdm import tqdm


# コンパイル済みの正規表現を受け取る
def trans_word2(text, pat):
    return pat.sub(lambda m: replace_dict[m.group()], text)


text_list = ["あいうえお、かきくけこ、さしすせそ！"] * 10000
replace_list = ["あい" + str(random.random())
                for _ in range(10000)]  # わざと乱数をつけて、辞書の数を多くする
replace_dict = dict([(item, "") for item in replace_list])
replace_dict["あい"] = ""

# ここでコンパイル
pat = re.compile('({})'.format('|'.join(map(re.escape, replace_dict.keys()))))

start = time.time()
replaced_list = [trans_word2(sentence, pat)
                 for sentence in tqdm(text_list)]  # tqdmで可視化用
process_time = time.time() - start
print(process_time)

Comments

[KK-31]

早いです！ありがとうございました。

Answer 2

曖昧な記憶ですが、昔同じようなことをやってたことがあります。

subprocessでコマンド呼び出して置換させるか、C呼び出して置換させるかしたら早くなったような記憶があります。