DataFrame.resample() で範囲外のデータを参照した集計をしたい

Question

python3系、pandasでデータ処理をしています。

• dfのindexはdatetime64で1時間ごとのデータがある。
• 1日毎に集計値を計算したい。
• その計算には、その日のデータだけではなく、前後のデータが必要。
• データのある期間はもちろん有限ですが、途中の欠損値はありません。

集計方法の例は下記です。
例1) k=0,1,...,23で、k時とk+1時の差を2乗して合計を集計値とする。(つまり、翌日の0時を含む25時間分のデータが必要)
例2) その日を含む前3日間の平均を、集計値とする。(resampleと移動平均を同時にやる感じ)

などです。

データは例えばですが、下記のような形式です。

import pandas as pd
import numpy as np

periods = 73

np.random.seed(42)
df = pd.DataFrame(
        np.random.rand(periods),
        columns=['data'],
        index=pd.date_range('2020-01-01 00:00', periods=periods, freq='H'),
    )

	data
2020-01-01 00:00	0.374540
2020-01-01 01:00	0.950714
2020-01-01 02:00	0.731994
2020-01-01 03:00	0.598658
2020-01-01 04:00	0.156019
...	...
2020-01-03 20:00	0.074551
2020-01-03 21:00	0.986887
2020-01-03 22:00	0.772245
2020-01-03 23:00	0.198716
2020-01-04 00:00	0.005522

やりたいことはDataFrame.resample()でできることに近いのですが、範囲外のデータを使うという意味でやり方がわかりません。rollingだと重すぎるし、日毎にリサンプルしたいので、ちょっと違う気がしています。
それなりに大きなデータを多数処理しなくてはならないため、処理時間も気になっており、無理ならデータ列をndarrayにしてから計算しようかとかも考えています。

どなたかいい案があれば、ご教示いただけますよう、よろしくお願いいたします。

Answer 1

数値データであり、処理時間を気にするならnumpyを使うべきです。
欠損値がないということから、常に0時からの一時間刻みのデータであるとしてコードを記載します。

import pandas as pd
import numpy as np

periods = 73

np.random.seed(42)
df = pd.DataFrame(
        np.random.rand(periods),
        columns=['data'],
        index=pd.date_range('2020-01-01 00:00', periods=periods, freq='H'),
    )

arr = df['data'].to_numpy()

このとき、

例1

size = arr.size//24*24
result = (np.diff(arr) ** 2)[:size].reshape(-1, 24).sum(1)
# array([3.57046265, 4.84927938, 4.81231076])

次との差を計算し、24個ずつにまとめてから合計します。

例2

t = 3  # 3日間
strides = arr.strides[0]
window_arr = np.lib.stride_tricks.as_strided(
    arr, (arr.size//24-t+1, t*24), (strides*24, strides), writeable=False)
# [arr[0:72], arr[24:96], ..., arr[-72:]]という配列に等しい

result = np.r_[[np.nan]*(t-1), window_arr.mean(1)]
# array([       nan,        nan, 0.46798213])

スライドウィンドウを使って3日分ずつの配列を作成し、平均します。
過去3日分が見れていない1日目と2日目の分、nanを付け足してます。

Comments

[foy]

詳しい回答ありがとうございます。
参考にさせていただきます。

[foy]

numpyはあまり使ったことがなかったので、大変勉強になりました。
本当にありがとうございます。m(_ _)m

Answer 2

処理時間はわかりませんが

k=0,1,...,23で、k時とk+1時の差を2乗して合計を集計値

まず差を計算してから、日付でグルーピングして集計するとどうでしょうか。

import pandas as pd
import numpy as np

periods = 73

np.random.seed(42)
df = pd.DataFrame(
        np.random.rand(periods),
        columns=['data'],
        index=pd.date_range('2020-01-01 00:00', periods=periods, freq='H'),
    )

dd = df.diff()
dg = dd.groupby(pd.Grouper(freq='d'))
r = dg.apply(lambda x: np.sum(x**2))
print(r)

Comments

[foy]

pd.Grouperの使い方がよくわかっていなかったので大変参考になります。
ありがとうございました。

Answer 3

diff()は知りませんでした。
ありがとうございます。参考にさせていただきます。