時系列データの時間毎の細分化

Question

前提・実現したいこと

時系列データを時間毎に細分化したい。

発生している問題・エラーメッセージ

入手できるデータが以下の形式で、ステータスが変化するときに行が追加されていきます。
アウトプットイメージのように時間毎のデータにするため行を追加したいのですが、時間をまたぐときのデータ処理に苦慮しております。

開始時間 　　　終了時間 継続時間 ステータス
0 2021/06/01 08:00:00 2021/06/01 10:04:35 7475.0 2
1 2021/06/01 10:04:35 2021/06/01 10:05:00 25.0　　 4
2 2021/06/01 10:05:00 2021/06/01 10:10:00 300.0 2
3 2021/06/01 10:10:00 2021/06/01 10:11:01 61.0 4
4 2021/06/01 10:11:01 2021/06/01 11:07:15 3374.0 2
・
・

アウトプットイメージ

開始時間 　　　終了時間 継続時間 ステータス
0 2021/06/01 08:00:00 2021/06/01 09:00:00 3600.0 2
1 2021/06/01 09:00:00 2021/06/01 10:00:00 3600.0　 2
2 2021/06/01 10:00:00 2021/06/01 10:04:35 275.0 2
3 2021/06/01 10:04:35 2021/06/01 10:05:00 25.0 4
4 2021/06/01 10:05:00 2021/06/01 10:10:00 300.0 2
5 2021/06/01 10:10:00 2021/06/01 10:11:01 61.0 4
6 2021-06-01 10:11:01 2021/06/01 11:00:00 2939.0 2
7 2021-06-01 11:00:00 2021/06/01 11:07:15 435.0 2
・
・

該当のソースコード

python

試したこと

行の追加なりを考えましたが、初心者でいまひとつコードを作成するところまで至りませんでした。
ご教示いただけますと幸いです。

Answer 1

こういう感じです。

import datetime
df2 = df.copy()
df2.loc[len(df2)] = [df2.iloc[len(df2)-1,1], df2.iloc[len(df2)-1,1], 0.0, 0]

one_hour = datetime.timedelta(hours=1)
start = df2['開始時間'].dt.ceil('H').min()
end =  df2['開始時間'].dt.floor('H').max()
hours = (end - start).days*25 + (end - start).seconds//3600 + 1
df_h = pd.DataFrame({'開始時間' : [start + one_hour * i for i in range(hours)]})

df_result = pd.merge(df2[['開始時間', 'ステータス']], df_h, how='outer').sort_values('開始時間').reset_index(drop=True).fillna(method='ffill')

df_result.insert(1, '終了時間', df_result['開始時間'].shift(-1))
df_result.insert(2, '継続時間',  (df_result['終了時間'] - df_result['開始時間']).dt.seconds)

df_result.drop(len(df_result)-1, inplace=True)

入力データ

>>> print(df)
                 開始時間                終了時間  継続時間  ステータス
0 2021-06-01 08:00:00 2021-06-01 10:04:35  7475      2
1 2021-06-01 10:04:35 2021-06-01 10:05:00    25      4
2 2021-06-01 10:05:00 2021-06-01 10:10:00   300      2
3 2021-06-01 10:10:00 2021-06-01 10:11:01    61      4
4 2021-06-01 10:11:01 2021-06-01 11:07:15  3374      2
5 2021-06-01 11:07:15 2021-06-01 13:46:08  9533      4
6 2021-06-01 13:46:08 2021-06-01 15:20:42  5674      3
7 2021-06-01 15:20:42 2021-06-01 16:50:00  5358      2

実行結果

>>> print(df_result)
                  開始時間                終了時間    継続時間  ステータス
0  2021-06-01 08:00:00 2021-06-01 09:00:00  3600.0    2.0
1  2021-06-01 09:00:00 2021-06-01 10:00:00  3600.0    2.0
2  2021-06-01 10:00:00 2021-06-01 10:04:35   275.0    2.0
3  2021-06-01 10:04:35 2021-06-01 10:05:00    25.0    4.0
4  2021-06-01 10:05:00 2021-06-01 10:10:00   300.0    2.0
5  2021-06-01 10:10:00 2021-06-01 10:11:01    61.0    4.0
6  2021-06-01 10:11:01 2021-06-01 11:00:00  2939.0    2.0
7  2021-06-01 11:00:00 2021-06-01 11:07:15   435.0    2.0
8  2021-06-01 11:07:15 2021-06-01 12:00:00  3165.0    4.0
9  2021-06-01 12:00:00 2021-06-01 13:00:00  3600.0    4.0
10 2021-06-01 13:00:00 2021-06-01 13:46:08  2768.0    4.0
11 2021-06-01 13:46:08 2021-06-01 14:00:00   832.0    3.0
12 2021-06-01 14:00:00 2021-06-01 15:00:00  3600.0    3.0
13 2021-06-01 15:00:00 2021-06-01 15:20:42  1242.0    3.0
14 2021-06-01 15:20:42 2021-06-01 16:00:00  2358.0    2.0
15 2021-06-01 16:00:00 2021-06-01 16:50:00  3000.0    2.0

Comments

[ot24]

迅速なご回答ありがとうございます。苦戦していたところでしたので大変助かりました。