python listの処理速度を早くしたい

Question

前提・実現したいこと

複数のテキストファイルを1つのテキストファイルにまとめるプログラムを作成しました。

複数のテキストファイルは、

0\t[数値]
0.0025\t[数値]
0.005\t[数値]
0.0075\t[数値]
0.01\t[数値]

というような形をしております。
1列目(x軸に相当)は、どのファイルも0.0025倍の数値になっています。
ただ、等間隔ではなくソートはされていますがランダムです。
(例)0.005がないファイルも出てくる

0\t[数値]
0.0025\t[数値]
0.075\t[数値]
0.01\t[数値]

これを一つのテキストにまとめる為に作ったプログラムです。

まず、大きな箱(table_sum40000行x3列)を作ります。
その後、足し合わせるファイルを1行ずつ.readline()で読み込み
x軸に相当する1列目の値を確認して、
同じx軸の'table_sum'の2列目に数値を追加するようにしております。

そこで出てくる問題が、足した数値のファイル数の違いです。
2ファイル分足された所もあるし、3ファイル分足された所も出てくるので
table_sumの三列目に何回足されたかをカウントする列を作りました。

<table_sum>
0\t[数値の合計]\t[足し合わせたfileの数(2)]
0.0025\t[数値の合計]\t[足し合わせたfileの数(1)]
0.005\t[数値の合計]\t[足し合わせたfileの数(2)]
0.0075\t[数値の合計]\t[足し合わせたfileの数(2)]

以上の処理は問題なく出来るのですが、
実際読み込むファイルは14000行程度あり1ファイル振り分けるのに3秒くらいかかります。
4ファイルの場合: 4_file x 3_sec = 12sec

実用上もう少し早くしたいと思っているのですが、
どうにか早くなるコツはありませんでしょうか。
(listにこだわりはありません。)

該当のソースコード

def data_sum(data_list, fname, dir_path):

    table_sub1 = [round(m*0.0025, 4) for m in range(40000)]
    table_sub2 = [0 for _ in range(40000)]
    table_sub3 = [0 for _ in range(40000)]
    table_sum = [table_sub1,table_sub2, table_sub3]
    
    for n in data_list:
        reg_path = dir_path + "\" + n
        print(reg_path)

        with open(reg_path, "r", encoding="utf_8") as reg_fobj:
            while True:
                line = reg_fobj.readline()
                if line == "":
                    break
                tth_val = round(float(line.split("\t")[0]), 4)
                count_val = float(line.split("\t")[1])
                chk = tth_val in table_sum[0]
                if chk == True:
                    column_no = table_sum[0].index(tth_val)
                    table_sum[1][column_no] = table_sum[1][column_no] + count_val
                    table_sum[2][column_no] = table_sum[2][column_no] + 1
    print("-------> Make.sum")

if __name__ == "__main__":
    data_list = ['fname_No1.txt', 'fname_No2.txt', 'fname_No3.txt', 'fname_No4.txt']
    fname = "fname"
    dir_path = "C:\"
    data_sum(data_list, fname, dir_path)

補足情報（FW/ツールのバージョンなど）

windows10, python3

Answer 1

chk = tth_val in table_sum[0] → chk = 0<= tth_val < 40000*0.0025

column_no = table_sum[0].index(tth_val) → column_no = round(tth_val*400)

と2行変えるだけでかなり速くなると思いますよ。

Comments

[退会済みユーザー]

わざわざチェックしてる意図もあるかもなので、チェックを残すなら以下のコードを補足提案しておきます。
sub1toindex={x:i for i,x in enumerate(table_sub1)}
として
chk = tth_val in sub1toindex
とか
column_no = sub1toindex[tth_val]
みたいにすればいいでしょう。
ただし動かして確認はしてません。

なお、元のプログラムはfnameが迷子なのでマージした結果をどうやって残してるのか疑問なのと、チェックしてるのにエラー時にスキップしてるだけなのが気になりました。

[yamatail]

hiro-kさん
ありがとうございます。2行変えただけで一瞬になりました！
dameoさん
chkは、ほんとにこの用途でしか使わないので、
よくよく考えて見るとchk必要ないって感じですよね。。。
fnameに関しては、この後に`table_sum`を`fname`の名前でテキストに保存するのでその時に出てくる変数でした。

お二人とも適格なアドバイス、感謝いたします。m(_ _)m

Answer 2

これだとどれくらいの時間になりますかね？

import os
from collections import defaultdict

def data_sum(data_list, fname, dir_path):

    total = defaultdict(int)
    count = defaultdict(int)

    for n in data_list:
        reg_path = os.path.join(dir_path, n)
        print(reg_path)

        with open(reg_path, "r", encoding="utf_8") as lines:
            for line in lines:
                if line == "":
                    break
                index, value = line.split('\t')
                index = round(float(index), 4)
                total[index] += float(value)
                count[index] += 1

    for index in sorted(total):
        print(index, total[index], count[index], sep='\t')

if __name__ == "__main__":
    data_list = ['fname_No1.txt', 'fname_No2.txt', 'fname_No3.txt', 'fname_No4.txt']
    fname = "fname"
    dir_path = "C:"
    dir_path = "."
    data_sum(data_list, fname, dir_path)

Comments

[yamatail]

shiracamusさん
ありがとうございます。この方法ですると、1秒もかかりません！一瞬です！！
しかも、dict[所謂辞書]を扱う型なんですね。
初めはこんな風に出来ればいいのにと思っていた理想のコードです。
しかし、知識不足もあり空の箱`table_sum`に入れていく方法にしました。
大変勉強になり知識も深まるアドバイスでした、本当にありがとうございます！