Pythonのgroupby等で特定の行分の移動平均と変化率を入れる方法

前提

Pythonでラグ特徴量を作成しようとしているのですが、日にちのインデックスが重複しており日時の重複分を加味した行のスライドができません。
上手く移動平均と変化率を出してデータフレームに入れる方法を教えて欲しいです。

・日付（＝date)重複分（重複データの数はバラバラ）を加味して日付もしくは労働者数（=worker)の値が変化した際に新しいDataframeに対して前の値を用い移動平均や変化率を入れたいです。
・日付ごとに件数は変わります。また、日付と労働者数は同じ動きをします。

実現したいこと

dataframeに以下の①、②をgroupby等で式を作って入れたいです。
①5日間移動平均
②変化率

#元の状態
    date   worker
0  20180101  1000
1  20180101  1000
2  20180102  1600
3  20180102  1600
4  20180103  2000
5  20180103  2000
6  20180104   500
7  20180105   100
8  20180106  1500

#実現したいこと①5日間移動平均
　 date      worker　worker_moving_average
0  20180101  1000　NaN
1  20180101  1000　NaN
2  20180102  1600　NaN
3  20180102  1600　NaN
4  20180103  2000　NaN
5  20180103  2000　NaN
6  20180104   500　NaN
7  20180105   100　1040
8  20180106  1500  1140

#実現したいこと②変化率
    date   worker   worker_pct
0  20180101  1000  NaN
1  20180101  1000  NaN
2  20180102  1600  0.6
3  20180102  1600  0.6
4  20180103  2000  0.25
5  20180103  2000  0.25
6  20180104   500 -0.75
7  20180105   100 -0.8
8  20180106  1500  14

該当のソースコード

以下を書いたのですが、うまく出来ませんでした。

import pandas as pd
df = pd.DataFrame(
    data={'date': ['20180101', '20180101', '20180102', '20180102', '20180103', '20180103', '20180104', '20180105', '20180106'],
          'worker': [1000, 1000, 1600, 1600, 2000, 2000, 500, 100, 1500]}
)

①df["worker_moving_average"] = df['worker'].rolling(window=5).mean()

②df['worker_pct'] = df['date'].map(df.groupby('date').first().pct_change()['worker'])

回答1件

ベストアンサー

python
1# ①5日間移動平均
2df['worker_moving_average'] = df.merge(df.groupby('date').first()['worker'].rolling(window=5).mean(), on='date')['worker_y']
3print(df)
4
5#        date  worker  worker_moving_average
6# 0  20180101    1000                    NaN
7# 1  20180101    1000                    NaN
8# 2  20180102    1600                    NaN
9# 3  20180102    1600                    NaN
10# 4  20180103    2000                    NaN
11# 5  20180103    2000                    NaN
12# 6  20180104     500                    NaN
13# 7  20180105     100                 1040.0
14# 8  20180106    1500                 1140.0
15
16# ②変化率
17df['worker_pct'] = df.merge(df.groupby('date').first()['worker'].pct_change(), on='date')['worker_y']
18print(df)
19
20#        date  worker  worker_pct
21# 0  20180101    1000         NaN
22# 1  20180101    1000         NaN
23# 2  20180102    1600        0.60
24# 3  20180102    1600        0.60
25# 4  20180103    2000        0.25
26# 5  20180103    2000        0.25
27# 6  20180104     500       -0.75
28# 7  20180105     100       -0.80
29# 8  20180106    1500       14.00