【Python】Pandasのデータフレームで一定期間内での最大値を取得したい

Question

時系列データから1時間ごとの最大値を取得したいです。

下記のコードでは、1時間毎の最大値は取得できているのものの、最大値の具体的な時間はうまく取得できなかったためご質問させて頂きました。

# dfはpd.DataFrame()形式の読み込み済みのデータ
print(df.dtypes)
print(df)

"""
date    datetime64[ns]
max            float64
dtype: object
                     date   max
0     2020-12-02 00:04:34  11.0
1     2020-12-02 00:04:35  12.0
2     2020-12-02 00:04:36  13.0
3     2020-12-02 00:04:37  14.0
4     2020-12-02 00:04:38  15.0
...                   ...   ...
51777 2020-12-03 23:59:37  10.0
51778 2020-12-03 23:59:38  10.0
"""

output = df.groupby(pd.Grouper(key='date', freq='1H')).max()
print(output)

"""
                      max
date                     
2020-12-02 00:00:00  20.0
2020-12-02 01:00:00  10.0
2020-12-02 02:00:00  10.0
2020-12-02 03:00:00  18.0
2020-12-02 04:00:00  20.0
...                   ...   ...
2020-12-03 22:00:00  30.0
2020-12-03 23:00:00  11.0
"""

Answer 1

集計結果と元のデータを、値をキーにして左結合するとよいかと思います。
そのさい、各グループごとに結合できるようにグループ番号を利用します。
なお、最大値が複数ある場合は複数行表示されます。

import pandas as pd
from io import StringIO

# テストデータ
s = """date,val
2020-12-01 01:00,10
2020-12-01 01:01,11
2020-12-01 02:00,13
2020-12-01 02:01,12
2020-12-01 03:00,13
2020-12-01 03:01,13"""
df = pd.read_csv(StringIO(s))
df['date'] = pd.to_datetime(df['date'])

grp = df.groupby(pd.Grouper(key='date', freq='1H'))
df['grp_no'] = grp.ngroup() # グループ番号を付与

df_max = grp.max().reset_index()
df_max['grp_no'] = df_max.index # グループ番号を付与

df_ret = pd.merge(df_max, df, on=['grp_no','val'], how='left').dropna()
print(df_ret)
#               date_x  val  grp_no              date_y
#0 2020-12-01 01:00:00   11       0 2020-12-01 01:01:00
#1 2020-12-01 02:00:00   13       1 2020-12-01 02:00:00
#2 2020-12-01 03:00:00   13       2 2020-12-01 03:00:00
#3 2020-12-01 03:00:00   13       2 2020-12-01 03:01:00

Comments

[takayoukey]

回答ありがとうございます。
ただ、この場合ですと下記のようにデータの値が重複している場合に適切な結果が出ませんでした。

s = """date,val
2020-12-01 01:00,10
2020-12-01 01:01,10
2020-12-02 02:00,10
2020-12-02 02:01,10
2020-12-03 03:00,10
2020-12-03 03:01,10"""

"""
date_x val date_y
0 2020-12-01 01:00:00 10.0 2020-12-01 01:00:00
1 2020-12-01 01:00:00 10.0 2020-12-01 01:01:00
2 2020-12-01 01:00:00 10.0 2020-12-02 02:00:00
3 2020-12-01 01:00:00 10.0 2020-12-02 02:01:00
4 2020-12-01 01:00:00 10.0 2020-12-03 03:00:00
5 2020-12-01 01:00:00 10.0 2020-12-03 03:01:00
30 2020-12-02 02:00:00 10.0 2020-12-01 01:00:00
31 2020-12-02 02:00:00 10.0 2020-12-01 01:01:00
32 2020-12-02 02:00:00 10.0 2020-12-02 02:00:00
33 2020-12-02 02:00:00 10.0 2020-12-02 02:01:00
34 2020-12-02 02:00:00 10.0 2020-12-03 03:00:00
35 2020-12-02 02:00:00 10.0 2020-12-03 03:01:00
60 2020-12-03 03:00:00 10.0 2020-12-01 01:00:00
61 2020-12-03 03:00:00 10.0 2020-12-01 01:01:00
62 2020-12-03 03:00:00 10.0 2020-12-02 02:00:00
63 2020-12-03 03:00:00 10.0 2020-12-02 02:01:00
64 2020-12-03 03:00:00 10.0 2020-12-03 03:00:00
65 2020-12-03 03:00:00 10.0 2020-12-03 03:01:00
"""

[8524ba23]

適切な結果とはどのようなものでしょうか？

[takayoukey]

入力データのValにあたる部分で同じ数値があると、

3 2020-12-01 01:00:00 10.0 2020-12-02 02:01:00
上記のように、グループ化した期間以外も同一とみなして表示されてしまいます。

同一期間内で最大値が複数ある場合に複数行表示されるのであれば問題ありません。

[8524ba23]

不適切なケースが理解できました。
回答を修正しました。

[takayoukey]

ありがとうございます。
解決しました。