Pythonのデータ集計を高速化したい

Question

実現したいこと

Pythonのデータ集計を高速化する方法についてアドバイスいただきたいです
以下のテキスト処理が5時間程度かかります。
PCのスペックではなく、プログラムの書き方で高速化できる事は高速化したいと考えております。
アドバイスいただけますと幸いです。

プログラムの内容

テキストファイルを読み込んで、アラームが出た日時とカメラ名をリスト化し、
カメラ名毎に1時間ごとのアラーム回数をCSV出力するもの

テキストファイル:　HIKVisionカメラの動体検知ログをエクスポートしたもの

テキストファイルの内容

1アラームあたり10行、合計2000万行

----------------------------
258454    2021-12-9 4:54:11
----------------------------
メインリスト: アラーム録画
サブリスト: 動体検知開始
ローカルユーザー: N/A
ホストIPアドレス: N/A
パラメータタイプ: N/A
カメラ No.: D1

該当のソースコード

import os
import pandas as pd
from datetime import datetime

log_path= r'C:\Users\logBack.txt'
with open(log_path,'r', encoding='shift_jis',errors='ignore') as f:
    logtxt = pd.DataFrame(f.readlines())
    print('txtファイル読み込み完了')
r = logtxt
r = r.astype('str')


result = pd.DataFrame(columns=['Date','CameraName','num']).\
         astype({'Date': datetime, 'CameraName' : str, 'num' : int})

print('テキストファイルのDataFrameへの変換完了')

num_rows = len(r)

# 動体検知という文字を見つけたら、日付とカメラ名を記録する
for i, line in r.iterrows():
    if "動体検知開始" in str(line) and i > 4:
      result = result.append({'Date': datetime.strptime(str(r.iloc[i-3].values[0].strip()[10:]), '%Y-%m-%d %H:%M:%S'),'CameraName' : r.iloc[i+4].values[0].replace('カメラ No.: ','').strip(), 'num' : 1} , ignore_index=True)
      if i % 10000 == 0:
        print(f'動体検知検索中 {num_rows}行中　{i}行目処理中　')

#カメラ毎のヒストリーデータを入れるカメラリストの準備
df_cameralists = pd.DataFrame(result.loc[:]["CameraName"].drop_duplicates())
df_cameralists['historical_data'] = ''
df_cameralists = df_cameralists.set_index('CameraName')

#カメラ毎にヒストリーデータを入れていく
print('ヒストリーデータの計算開始')
for camera_name, historicaldata in df_cameralists.itertuples():
    # result からカメラ名で抜き出し、Date列で時間毎に集計する
    df_cameralists.at[camera_name,'historical_data'] = result[result['CameraName']==camera_name].set_index('Date').resample('H').sum()
    print(f'{camera_name}の計算完了')

#カメラ毎にCSV出力していく
for camera_name , df_historical_data in df_cameralists.itertuples():
    df_historical_data.to_csv(f'{camera_name}.csv')
    print(f'{camera_name}のcsv出力完了')

よろしくお願いいたします。

Comments

[yamap55]

どこの処理に時間がかかっているのでしょうか？読み込みなのか、DF化なのか、各処理なのか。

pandasに詳しくない上、2000万行のテキストがどの位のサイズになるかわかりませんが、PCスペックによってはメモリに乗らないのではないかと思いました。

[tyamzak_]

テキストのサイズは500MBくらいでした。

# 動体検知という文字を見つけたら、日付とカメラ名を記録する : 2時間
#カメラ毎にヒストリーデータを入れていく : 3時間

残りの処理は1分に満たない時間で納まっています。

Answer 1

• ログファイルは全読込せずに、行毎に必要なものだけ処理する。
• （カメラ→日付リスト辞書のように）必要なデータのみ保持する。

以上により、以下のようなコードにて、約450MBのテストデータを数十秒で処理できました。

import pandas as pd
from datetime import datetime
from collections import deque

def read_log(path):

    cams = dict() # キー=カメラ, 値=日時リスト

    with open(path, 'r', encoding='shift_jis', errors='ignore') as f:
        read_state = 0
        que = deque(maxlen=5)
        while True:
            line = f.readline()
            if not line:
                break

            que.append(line) # いったん流れた日時行を取得するため直近5行をキューに保持

            if read_state == 0:   # 開始行の探索中
                if line.startswith('サブリスト: 動体検知開始'):
                    line = que[-4] # 日時行
                    pos = line.find(' ')
                    dt = datetime.strptime(line[pos+1:].strip(), '%Y-%m-%d %H:%M:%S')
                    read_state = 1

            elif read_state == 1: # カメラ行の探索中
                if line.startswith('カメラ No.:'):
                    cam = line.split(':')[1].strip()
                    if cam not in cams:
                        cams[cam] = []
                    cams[cam].append(dt)
                    read_state = 0

    return cams

cams = read_log('logTest.txt')
print('read_log end.')

# 結果をカメラ毎にCSV出力
for cam, dts in cams.items():
    df = pd.DataFrame({'Date':dts})
    df['cnt'] = 1
    df = df.set_index('Date')
    df = df.resample('H').sum()
    df.to_csv(f'{cam}.csv')

make_test_log.py : テストデータ作成

from datetime import datetime, timedelta
import random

def make_test_log(path, n=1):
    random.seed(110)
    dt_cur = datetime(2022,6,3,12)
    dt_delta = timedelta(seconds=1)
    with open(path, 'w', encoding='shift_jis') as f:
        for i in range(n):
            log_id = i+1
            log_time = dt_cur.strftime('%Y-%m-%d %H:%M:%S')
            mes = '開始' if random.randint(0,1) == 1 else '終了'
            cam_no = f'D{random.randint(1,10)}'
            dt_cur += dt_delta

            lines = f"""----------------------------
{log_id}    {log_time}
----------------------------
メインリスト: アラーム録画
サブリスト: 動体検知{mes}
ローカルユーザー: N/A
ホストIPアドレス: N/A
パラメータタイプ: N/A
カメラ No.: {cam_no}

"""
            f.write(lines)

make_test_log('logTest.txt', 2000000)

D1.csv

Date,cnt
2022-06-03 12:00:00,196
2022-06-03 13:00:00,204
2022-06-03 14:00:00,197
2022-06-03 15:00:00,178
2022-06-03 16:00:00,189
：

Comments

[tyamzak_]

すごい、28秒で終わりました。
ありがとうございます。
しっかり勉強させていただきます。