作業時間と件数を日毎に集計したい

Question

前提・実現したいこと

以下のCSVがあるとします。

person,date,work
A,2021/9/20 8:00,10
A,2021/9/20 10:00,20
A,2021/9/20 18:00,30
B,2021/9/19 9:00,15
B,2021/9/19 20:00,25
C,2021/9/20 10:00,5
C,2021/9/20 15:00,40
C,2021/9/20 19:00,35

これを、日ごと、personごとに作業時間とworkの合計を出したいです。
期待する結果は以下です

person,date,worktime,work_sum
A,2021/9/20,10:00,60
B,2021/9/19,11:00,40
C,2021/9/20,09:00,80

試したこと

日毎のworkの合計は出せましたが、作業時間の出し方が難しく、実現できていません。

import pandas as pd
df = pd.read_csv('sample.csv',parse_dates=[1],index_col=1 )
df.groupby('person').resample('D').agg('sum')

person	date	work
A	2021-09-20	60
B	2021-09-19	40
C	2021-09-20	80

Comments

[y_waiwai]

そのworktimeってのはcsvからどうやって算出されるもんなんでしょうか

[luria]

質問ありがとうございます。
その日の一番早い時刻から一番遅い時刻までの時間になります。
Aの9/20は8:00〜18:00になるので10時間、となります。
・・と改めて見るとCの結果が間違っていました。。修正します。

Answer 1

解決済みですが、pandas.Grouperを使えば、日ごとの集計がgroupbyでできるので、もう少し簡単に書けます。

workは合計、dateは最大と最小を集計してその差を整形します。

import pandas as pd

df = pd.read_csv('sample.csv', parse_dates=['date'])

df2 = df.groupby(
    ['person', pd.Grouper(key='date', freq='D')]
).agg(
    worktime0=('date', 'min'),
    worktime1=('date', 'max'),
    worksum=('work', 'sum')
)

df2['worktime'] = (df2['worktime1'] - df2['worktime0']).map(
    lambda d: '{0.hours}:{0.minutes:02}'.format(d.components))

df2[['worktime', 'worksum']].to_csv('output.csv', date_format='%Y/%m/%d')

Answer 2

同一personの複数のdateの情報の集計に対応できていなかったため修正しておきます。
'sample.csv' は ppaul さんご提示の内容の前提です。

import pandas as pd
import datetime

df = pd.read_csv('sample.csv', parse_dates=[1], index_col=1)
df2 = df.groupby('person').resample('D').agg('sum')
df = df.reset_index()
df2 = df2.reset_index()
df['name_date'] = df['person']+df['date'].dt.strftime('%Y/%m/%d')
df2['name_date'] = df2['person']+df2['date'].dt.strftime('%Y/%m/%d')
df_lst = [df[df['name_date'] == nd] for nd in df2['name_date'].values]
df2['worktime'] = [df['date'].values[-1] - df['date'].values[0] for df in df_lst]
df2['worktime'] = df2['worktime'].apply(lambda x: (datetime.datetime(1,1,1)+x).time())
df2 = df2.rename(columns={'work': 'work_sum'})
df2 = df2.reindex(columns=['person', 'date', 'worktime', 'work_sum'])
print(df2)
"""
  person       date  worktime  work_sum
0      A 2021-09-20  10:00:00        60
1      B 2021-09-19  11:00:00        40
2      C 2021-09-19  08:00:00        80
3      C 2021-09-20  09:00:00        80
"""

以下、修正前のコードです。

import pandas as pd
import datetime

df = pd.read_csv('sample.csv', parse_dates=[1], index_col=1)
df2 = df.groupby('person').resample('D').agg('sum')
df = df.reset_index()
df2 = df2.reset_index()
df_n = [df[df['person'] == name] for name in df2['person'].values]
df2['worktime'] = [df['date'].values[-1] - df['date'].values[0] for df in df_n]
df2['worktime'] = df2['worktime'].apply(lambda x: (datetime.datetime(1,1,1)+x).time())
df2 = df2.rename(columns={'work': 'work_sum'})
df2 = df2.reindex(columns=['person', 'date', 'worktime', 'work_sum'])
print(df2)
"""
  person       date  worktime  work_sum
0      A 2021-09-20  10:00:00        60
1      B 2021-09-19  11:00:00        40
2      C 2021-09-20  09:00:00        80
"""

Comments

[luria]

早い回答大変助かりました。コードの方も知らないテクニックばかりで参考になりました。
ありがとうございました！

Answer 3

こういう感じです。

df = pd.read_csv('sample.csv',parse_dates=[1])
print(df)
df['date_str'] = df['date'].dt.strftime('%Y/%m/%d')
sr_worktime = (df.groupby(['person', 'date_str'])['date'].max() - df.groupby(['person', 'date_str'])['date'].min())
sr_worktime_str = sr_worktime.apply(lambda td: f'{td.seconds//3600:02}:{(td.seconds%3600)%60:02}')
sr_worktime_str.name = 'worktime'
sr_work_sum = df.groupby(['person', 'date_str'])['work'].sum()
sr_work_sum.name = 'work_sum'
df_result = pd.concat([sr_worktime_str, sr_work_sum], axis=1).reset_index()
print(df_result)

同一personの複数のdateの情報を集計できているかどうかの確認のためにデータを少し増やしてあります。

>>> print(df)
   person                date  work
0       A 2021-09-20 08:00:00    10
1       A 2021-09-20 10:00:00    20
2       A 2021-09-20 18:00:00    30
3       B 2021-09-19 09:00:00    15
4       B 2021-09-19 20:00:00    25
5       C 2021-09-19 09:00:00    15
6       C 2021-09-19 13:00:00    45
7       C 2021-09-19 17:00:00    20
8       C 2021-09-20 10:00:00     5
9       C 2021-09-20 15:00:00    40
10      C 2021-09-20 19:00:00    35

実行結果

>>> print(df_result)
  person    date_str worktime  work_sum
0      A  2021/09/20    10:00        60
1      B  2021/09/19    11:00        40
2      C  2021/09/19    08:00        80
3      C  2021/09/20    09:00        80

詳しい使い方は以下を参照してください。

pandasで日付・時間の列を処理（文字列変換、年月日抽出など）
pandas.DataFrameをGroupByでグルーピングし統計量を算出
pandasで要素、行、列に関数を適用するmap, applymap, apply
timedelta オブジェクト

Comments

[luria]

サンプルデータまで拡張してくださり、恐縮です。。
日付をIndexにしてそれをなんとかして使おうとしてはまってしまっていました。このように別カラムで扱えばいいのですね。
回答、ありがとうございました。