Pythonにて、辞書(dict({key,value})を使って、list型の全要素をValue値に変換する際の、
高速化が可能かどうかをご教授いただきたいです。
(同じような質問を過去にも投稿しております、その際は1次元配列の場合の高速化で、今回は多次元配列の場合です。)
python
1import time 2 3dic_N= 10000 #辞書の要素数 4target_size = 100 #置換対象の配列の長さ 5target_N = 100000 #置換対象の2次元配列の長さ 6dict1 = {('%06d'%i):i for i in range(dic_N)} #辞書を宣言 7#dict1 = {'000000': 0, '000001': 1, '000002': 2, '000003': 3, '000004': 4, '000005': 5, '000006': 6, '000007': 7, '000008': 8, '000009': 9, ...... 8target_list = [[('%06d'%(i%target_size)) for i in range(target_size)] for i in range(target_N)] #多次元配列の例です。 (大量にデータがある事を想定 9#target_list[0] =['000000', '000001', '000002', '000003', '000004', '000005', '00 ... 10#target_list[1] =['000000', '000001', '000002', '000003', '000004', '000005', '00 ... 11new_list = [] #list初期化 12start = time.time() 13#---------↓ここを高速化させたい------------------------- 14new_list = [ list(map(dict(dict1).get, document)) for document in target_list] 15#new_list = [[1,2,3,4,5,6...],[1,2,3,4,5,6...],[1,2,3,4,5,6,...]] 16#---------↑ここを高速化させたい------------------------- 17print ("処理完了 経過時間:{0}".format(time.time() - start) + "[sec]") 18#処理完了 経過時間:52.82347846031189[sec]
上記コードのように、一応内包表記はしているのですが、速度改善のための方法を教えていただきたいです。
現在は、並列処理で高速化していますが、何かライブラリ等で似たようなことを実現できないでしょうか。
実行環境:AWS仮想サーバー
Pythonバージョン:Python3.6
CPU:vCPU 6コア
メモリ:16GB
OS:Windows 2016
実行環境:Powershell(CLI)から実行。
追記 '18 2/28 9:52
前回の質問のリンク
teratail前回の質問のリンク
回答1件
あなたの回答
tips
プレビュー