リサンプルデータを元データに結合したい

Question

実現したいこと

１秒ごとの時系列データについて、
①日ごと（１D）にリサンプリングして平均値を計算
②日ごとにその平均値を差し引きたい

前提

時系列データのdatetimeは→yyyy/mm/dd HH:MM:SS
日ごとにリサンプリングし、集計した平均値のDataSeriesのdatetimeは→yyyy/mm/dd

発生している問題・エラーメッセージ

pd.concat([元のデータフレーム, リサンプリングしたDataSeries], axis=1)
リサンプリングした平均値を新規列に代入しようとした際、以下のエラーが出ています。

Shape of passed values is (100916, 39), indices imply (100608, 39)

該当のソースコード

resample_data=data['vector'].resample('1D').mean()
pd.concat([data,resample_data],axis=1)

試したこと

前提に記載したdatetimeの形式を合わせようかと思いましたが、いまいち方法がわかりませんでした。
元データとりサンプルデータに日付の漏れ等はありませんでした。

Comments

[bsdfan]

解決済みなのでコメントで。
元データと形をあわせたいなら、groupby して transform するのがいいです。

Answer 1

適当にデータを作成して試してみました。

import pandas as pd

idx = pd.date_range(start='2023-06-14', end='2023-06-16', inclusive='left', freq='s')
data = pd.DataFrame({'vector': range(len(idx))}, index=idx)

resample_data = data['vector'].resample('1D').mean().rename('mean')
result = pd.concat([data, resample_data], axis=1).ffill()

print(result)

#                      vector      mean
# 2023-06-14 00:00:00       0   43199.5
# 2023-06-14 00:00:01       1   43199.5
# 2023-06-14 00:00:02       2   43199.5
# 2023-06-14 00:00:03       3   43199.5
# 2023-06-14 00:00:04       4   43199.5
# ...                     ...       ...
# 2023-06-15 23:59:55  172795  129599.5
# 2023-06-15 23:59:56  172796  129599.5
# 2023-06-15 23:59:57  172797  129599.5
# 2023-06-15 23:59:58  172798  129599.5
# 2023-06-15 23:59:59  172799  129599.5
# 
# [172800 rows x 2 columns]

Comments

[reado]

ありがとうございます！このコードでつなげられることは理解できました。
データフレームの数が異なっていて、まだエラーがでているので、いろいろ試してみます。