グループ化した各グループに対して、grouperとinterpolateを適用したい

Question

前提・実現したいこと

pandasでgroupbyした各グループ内のデータだけに5分間隔グルーピングを行い、かつパディングしたデータを前後平均で補完したいです。
grouperとinterpolateを組み合わせればできそうだとは思っているものの、組み合わせ方がわからずお知恵をお借りできれば幸いです。

実現したいこと

具体的には以下の処理を行いたいです。
・dateとIDでgroupby
・groupbyしたグループ内のデータに対し、datetimeを5分間隔で周期的にグルーピング
・パディングされた行に対しては、前後平均でvalueの値を埋める

データフレームのイメージは以下です。

■元のデータフレーム

date	ID	datetime	value
2020/2/1	1	2020/2/1 9:30:00	3
2020/2/1	1	2020/2/1 9:35:00	12
2020/2/1	1	2020/2/1 9:50:00	6
2020/2/1	2	2020/2/1 9:25:00	30
2020/2/1	2	2020/2/1 9:35:00	20
2020/2/1	2	2020/2/1 9:40:00	25
2020/2/2	1	2020/2/2 9:30:00	3
2020/2/2	2	2020/2/2 16:00:00	5
2020/2/2	2	2020/2/2 16:10:00	12

■欲しいデータフレーム(太字が前後平均でパディングされた行)

date	ID	datetime	value
2020/2/1	1	2020/2/1 9:30:00	3
2020/2/1	1	2020/2/1 9:35:00	12
2020/2/1	1	2020/2/1 9:40:00	10
2020/2/1	1	2020/2/1 9:45:00	8
2020/2/1	1	2020/2/1 9:50:00	6
2020/2/1	2	2020/2/1 9:25:00	30
2020/2/1	2	2020/2/1 9:30:00	25
2020/2/1	2	2020/2/1 9:35:00	20
2020/2/1	2	2020/2/1 9:40:00	25
2020/2/2	1	2020/2/2 9:30:00	3
2020/2/2	2	2020/2/2 16:00:00	5
2020/2/2	2	2020/2/1 16:05:00	8.5
2020/2/2	2	2020/2/2 16:10:00	12

よろしくお願いいたします。

Answer 1

内容を見る限り行いたいことは、グループ化ではなく、resample()なのかと思います。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.resample.html

処理自体は、ID毎、日付毎に行いたいようですので、その部分はグループ化をつかって　Groupby.resample()にて

df.set_index('datetime', drop=True).groupby(['date','ID'])['value'].resample('5Min').interpolate()

のように記述すると良いかと思います。

とここまで書きましたが実際に動作させてみるとエラーが出ました・・

エラーを解析するのが面倒だったので（すみません）、とりあえず groupby().apply() での実装に変えましたら動作しましたので、そのコードを貼っておきます。
（とりあえずこちらの実装でも問題ないかと思います。）

import pandas as pd
import io

data = """
date,ID,datetime,value
2020/2/1,1,2020/2/1 9:30:00,3
2020/2/1,1,2020/2/1 9:35:00,12
2020/2/1,1,2020/2/1 9:50:00,6
2020/2/1,2,2020/2/1 9:25:00,30
2020/2/1,2,2020/2/1 9:35:00,20
2020/2/1,2,2020/2/1 9:40:00,25
2020/2/2,1,2020/2/1 9:30:00,3
2020/2/2,2,2020/2/1 16:00:00,5
2020/2/2,2,2020/2/1 16:10:00,12
"""

df = pd.read_csv(io.StringIO(data), parse_dates=['date', 'datetime'])
print(df)

ret = df.set_index('datetime', drop=True).groupby(['date','ID'])['value'].apply(lambda d: d.resample('5Min').interpolate()).reset_index()
print(ret)
#         date  ID            datetime  value
#0  2020-02-01   1 2020-02-01 09:30:00    3.0
#1  2020-02-01   1 2020-02-01 09:35:00   12.0
#2  2020-02-01   1 2020-02-01 09:40:00   10.0
#3  2020-02-01   1 2020-02-01 09:45:00    8.0
#4  2020-02-01   1 2020-02-01 09:50:00    6.0
#5  2020-02-01   2 2020-02-01 09:25:00   30.0
#6  2020-02-01   2 2020-02-01 09:30:00   25.0
#7  2020-02-01   2 2020-02-01 09:35:00   20.0
#8  2020-02-01   2 2020-02-01 09:40:00   25.0
#9  2020-02-02   1 2020-02-01 09:30:00    3.0
#10 2020-02-02   2 2020-02-01 16:00:00    5.0
#11 2020-02-02   2 2020-02-01 16:05:00    8.5
#12 2020-02-02   2 2020-02-01 16:10:00   12.0

Comments

[kani_miso]

お返事が遅くなりまして申し訳ありません。

resample()で実現できるのですね…勉強になりました。
grouperとの組み合わせがうまくいかずにはまっていたので、大変助かりました。
ありがとうございます。