質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

解決済

Pythonのデータ集計を高速化したい

tyamzak_
tyamzak_

総合スコア94

NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

1回答

0評価

3クリップ

438閲覧

投稿2022/06/02 22:50

編集2022/06/03 20:32

実現したいこと

Pythonのデータ集計を高速化する方法についてアドバイスいただきたいです
以下のテキスト処理が5時間程度かかります。
PCのスペックではなく、プログラムの書き方で高速化できる事は高速化したいと考えております。
アドバイスいただけますと幸いです。

プログラムの内容

テキストファイルを読み込んで、アラームが出た日時とカメラ名をリスト化し、
カメラ名毎に1時間ごとのアラーム回数をCSV出力するもの

テキストファイル: HIKVisionカメラの動体検知ログをエクスポートしたもの

テキストファイルの内容

1アラームあたり10行、合計2000万行

---------------------------- 258454 2021-12-9 4:54:11 ---------------------------- メインリスト: アラーム録画 サブリスト: 動体検知開始 ローカルユーザー: N/A ホストIPアドレス: N/A パラメータタイプ: N/A カメラ No.: D1

該当のソースコード

Python3

import os import pandas as pd from datetime import datetime log_path= r'C:\Users\logBack.txt' with open(log_path,'r', encoding='shift_jis',errors='ignore') as f: logtxt = pd.DataFrame(f.readlines()) print('txtファイル読み込み完了') r = logtxt r = r.astype('str') result = pd.DataFrame(columns=['Date','CameraName','num']).\ astype({'Date': datetime, 'CameraName' : str, 'num' : int}) print('テキストファイルのDataFrameへの変換完了') num_rows = len(r) # 動体検知という文字を見つけたら、日付とカメラ名を記録する for i, line in r.iterrows(): if "動体検知開始" in str(line) and i > 4: result = result.append({'Date': datetime.strptime(str(r.iloc[i-3].values[0].strip()[10:]), '%Y-%m-%d %H:%M:%S'),'CameraName' : r.iloc[i+4].values[0].replace('カメラ No.: ','').strip(), 'num' : 1} , ignore_index=True) if i % 10000 == 0: print(f'動体検知検索中 {num_rows}行中 {i}行目処理中 ') #カメラ毎のヒストリーデータを入れるカメラリストの準備 df_cameralists = pd.DataFrame(result.loc[:]["CameraName"].drop_duplicates()) df_cameralists['historical_data'] = '' df_cameralists = df_cameralists.set_index('CameraName') #カメラ毎にヒストリーデータを入れていく print('ヒストリーデータの計算開始') for camera_name, historicaldata in df_cameralists.itertuples(): # result からカメラ名で抜き出し、Date列で時間毎に集計する df_cameralists.at[camera_name,'historical_data'] = result[result['CameraName']==camera_name].set_index('Date').resample('H').sum() print(f'{camera_name}の計算完了') #カメラ毎にCSV出力していく for camera_name , df_historical_data in df_cameralists.itertuples(): df_historical_data.to_csv(f'{camera_name}.csv') print(f'{camera_name}のcsv出力完了')

よろしくお願いいたします。

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

yamap55

2022/06/03 01:50

どこの処理に時間がかかっているのでしょうか?読み込みなのか、DF化なのか、各処理なのか。 pandasに詳しくない上、2000万行のテキストがどの位のサイズになるかわかりませんが、PCスペックによってはメモリに乗らないのではないかと思いました。
tyamzak_

2022/06/03 03:15

テキストのサイズは500MBくらいでした。 # 動体検知という文字を見つけたら、日付とカメラ名を記録する : 2時間 #カメラ毎にヒストリーデータを入れていく : 3時間 残りの処理は1分に満たない時間で納まっています。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。