【Python、pandas、Dataframe】1分単位のデータを、1時間単位・設定条件下で平均化したデータへと変換したい

Question

前提・実現したいこと

・言語:Python3系
・開発環境:Anaconda
・IDE:Spyder
でデータ分析を行っています。

下記の【現状のデータ】のような1分単位の温度データとシステムの運転データ（0：停止、1：運転）がひと月分記録されたDataFrameを扱っています。

このデータを、運転時（Sysstatus=1）のデータのみを抽出しそれらのデータの平均値を計算し、下記の【作りたいデータ】のような1時間単位のデータを作成したいです。

######【現状のデータ（DataFrame）】
DATE TIME Tempreture1 Tempreture2 SysStatus
2020/5/1 0:00:00 18.75 17.91 0
2020/5/1 0:01:00 18.76 17.90 0
2020/5/1 0:02:00 18.76 17.91 0
2020/5/1 0:03:00 18.76 17.90 0
2020/5/1 0:04:00 18.77 17.91 1
2020/5/1 0:05:00 18.75 17.90 1
・
・
・

######【作りたいデータ（DataFrame）】
DATE TIME Tempreture1 Tempreture2 SysStatus
2020/5/1 0:00:00 18.75 17.91 0
2020/5/1 1:00:00 18.76 17.90 1
2020/5/1 2:00:00 18.76 17.91 1
2020/5/1 3:00:00 18.76 17.90 1
2020/5/1 4:00:00 18.77 17.91 0
2020/5/1 5:00:00 18.75 17.90 0
・
・
・

試したこと・課題

現状、「resample().mean()」を用いて平均値の計算を行おうと考えていましたが、下記のコードでは運転/停止の区別ができておらず、全てのデータを平均化の計算に用いている状態です。

DF=df.resample(rule='H').mean()

この計算を1時間のうち30分のみで運転が行われているならば、その30分間のデータを用いて平均値を計算し代表値としたいのですが、よい方法が思いつかず詰まっています。

何らかの関数を定義し、meanメソッドではなくapplyメソッドを用いることで問題を解決できるかとも考えましたが、初学者のためうまくいきませんでした。

拙い質問内容・文章となっていますが、ご回答よろしくお願いいたします。

---

Answer 1

元データをSysStatusの値で絞ったあとに.resampleすればよいです。
なお、元データがDATEとTIMEで別列に分かれている場合は、それらを結合して日時型の列を作成して、その列に対して.resampleしてください。

import pandas as pd
import numpy as np

# テストデータ
dt = pd.date_range('2020-05-01 00:00:00', '2020-05-01 03:00:00', freq='1min')
df = pd.DataFrame({
    'dt':dt, 
    'Temp1':np.random.uniform(10,20,size=(len(dt))), 
    'Temp2':np.random.uniform(20,30,size=(len(dt))), 
    'Sts':np.random.randint(0,2,size=(len(dt)))})

dfm = df[df['Sts']==1].resample('H', on='dt').mean()
print(dfm)
#                         Temp1      Temp2  Sts
#dt
#2020-05-01 00:00:00  14.957330  24.223443  1.0
#2020-05-01 01:00:00  15.546989  25.502660  1.0
#2020-05-01 02:00:00  15.089632  24.818902  1.0

# 必要におうじて整形
dfm = dfm.reset_index()
dfm['DATE'] = dfm['dt'].dt.date
dfm['TIME'] = dfm['dt'].dt.time
dfm = dfm[['DATE','TIME','Temp1','Temp2']]
print(dfm)
#         DATE      TIME      Temp1      Temp2
#0  2020-05-01  00:00:00  14.957330  24.223443
#1  2020-05-01  01:00:00  15.546989  25.502660
#2  2020-05-01  02:00:00  15.089632  24.818902

Comments

[heisan]

おかげさまで解決いたしました！ありがとうございました！

Answer 2

import pandas as pd
import numpy as np
from numpy.random import default_rng

pd.options.display.float_format="{:.2f}".format

# dataframe for testing
rg = default_rng()
N = 31 * 24 * 60
df = pd.DataFrame({
     'Datetime': pd.date_range(start='2020/5/1', periods=N, freq='min'),
  'Tempreture1': rg.uniform(10.0, 25.0, N),
  'Tempreture2': rg.uniform(10.0, 25.0, N),
    'SysStatus': rg.integers(0, 2, N),
})

dfx = (
  df[df['SysStatus']==1]
    .set_index('Datetime')
    .resample(rule='H').mean()
    .reset_index())

print(dfx)

#
               Datetime  Tempreture1  Tempreture2  SysStatus
0   2020-05-01 00:00:00        17.80        17.54       1.00
1   2020-05-01 01:00:00        17.31        17.57       1.00
2   2020-05-01 02:00:00        18.27        17.35       1.00
3   2020-05-01 03:00:00        17.71        16.08       1.00
4   2020-05-01 04:00:00        18.55        16.99       1.00
..                  ...          ...          ...        ...
739 2020-05-31 19:00:00        17.56        16.79       1.00
740 2020-05-31 20:00:00        18.05        17.98       1.00
741 2020-05-31 21:00:00        18.91        16.84       1.00
742 2020-05-31 22:00:00        17.24        19.03       1.00
743 2020-05-31 23:00:00        17.06        17.23       1.00

[744 rows x 4 columns]

※ SysStatus == 1 でフィルタリングしたので、SysStatus の値は常に 1 になっています。

Comments

[heisan]

ありがとうございます！単純なフィルタリングで解消できたんですね！
一番早く回答いただいたのでベストアンサーにさせていただきました！