Pythonで時間がバラバラのデータを整形したい

Question

前提・実現したいこと

Pythonで時間がバラバラの時系列データを整形したい。
（○○分後、○○時間後のデータを比較したいので整形）

以下のようなデータが100万行くらいあります。
date カラム1 カラム2
2021-06-02 15:00:02 200 1.5
2021-06-02 15:10:00 100 2.5
2021-06-10 16:30:10 150 1.6
2021-06-10 16:20:10 500 1.7
........
........

発生している問題・エラーメッセージ

以下のようなforループを使うと、
データの量が多く５時間たっても処理が終わらず困っております。

L = len(df)
for i in range(2,L):
  k = df.index[i]
  t1 = k - timedelta(hours=1)
  t2 = k - timedelta(hours=2)
  if df.index[i-1] == t1 and df.index[i-2] == t2:
      a = df.loc[t2:k]
      #aをappendでデーターフレームに追加

この方法しか思いつかなかったので、やってみたら案の定処理時間がかかりすぎて、、
Pythonのライブラリに処理が早くなるようなものがあったりしますでしょうか？
それかもっとスマートな方法がありますでしょうか？
よろしくお願い致します。

Comments

[bsdfan]

最終的にやりたいことによって、やり方は違ってきそうです。
整形して、どういう比較をしたいのでしょうか？

[pritu]

数時間後や数分後に相関があるかどうかとかを調べたかったので、
一度データを整形したかった感じですね、、
そこから抽出していこうかなと思っていました。

Answer 1

やりたいことは整形というよりも抽出でしょうか。
であれば以下のように自身の前後２行のdate値から３つの条件のいずれかを満たす行を抽出すればよいかと思います。

import pandas as pd
from datetime import datetime, timedelta
import random

# テストデータ
s = datetime(2021,6,2)
e = datetime(2021,6,3) # datetime(2221,6,3)
dt = pd.date_range(s, e, freq='H').tolist()
random.seed(110)
random.shuffle(dt)
dt = sorted(dt[:int(len(dt)*0.6)])
df =  pd.DataFrame({'date':dt, 'val':[i+1 for i in range(len(dt))]})
df = df.set_index('date')
print(df)

# 処理しやすいようにインデックスを外す
df = df.reset_index()

# 自身＋前後２行のdate値
p2 = df['date'].shift(2)
p1 = df['date'].shift(1)
cur = df['date']
n1 = df['date'].shift(-1)
n2 = df['date'].shift(-2)

D1, D2 = timedelta(hours=1), timedelta(hours=2)
w1 = ((n2-cur) == D2) & ((n1-cur) == D1) # 自身の２行先まで
w2 = ((cur-p1) == D1) & ((n1-cur) == D1) # 自身の前後の行
w3 = ((cur-p2) == D2) & ((cur-p1) == D1) # 自身の２行前まで

ret = df[w1 | w2 | w3] # いずれかを満たす行
print(ret)
"""
                  date  val
2  2021-06-02 03:00:00    3
3  2021-06-02 04:00:00    4
4  2021-06-02 05:00:00    5
5  2021-06-02 06:00:00    6
12 2021-06-02 22:00:00   13
13 2021-06-02 23:00:00   14
14 2021-06-03 00:00:00   15
"""

Comments

[pritu]

ご回答ありがとうございます！
まさしく求めていたものでした。
助かりました！！