Pythonのgroupbyとshiftで特定の行分シフトさせる方法

Question

前提

Pythonでラグ特徴量を作成しようとしているのですが、日にちのインデックスが重複しており日時の重複分を加味した行のスライドができません。
上手くシフトさせる方法を教えて欲しいです。

実現したいこと

・日付（＝date)重複分（重複データの数はバラバラ）を加味して日付もしくは労働者数（=worker)の値が変化した際に新しいDataframeに対して次の値に前の値を入れたいです。
・日付ごとに件数は変わります。また、日付と労働者数は同じ動きをします。

#元の状態
   date   worker
0  20180101  1000
1  20180101  1000
2  20180103  2000
3  20180103  2000
4  20180103  2000
5  20180104   500

 #実現したいこと
   date   worker　worker_lag
0  20180101  1000 NaN
1  20180101  1000 NaN
2  20180103  2000 1000
3  20180103  2000 1000 
4  20180103  2000 1000
5  20180104   500 2000

該当のソースコード

import pandas as pd
df = pd.DataFrame(
    data={'date': ['20180101', '20180101', '20180103', '20180103','20180103','20180104'],
          'worker': [1000, 1000, 2000, 2000, 2000, 500]}
)

df['worker_lag'] = df.groupby(['date'])["worker"].shift()

### 試したこと
df['worker_lag'] = df.groupby(['date','worker'])['worker'].shift()
#1行分しかずれませんでした。

Answer 1

df['worker_lag'] = df['date'].map(df.groupby('date').first().shift()['worker'])
print(df)

date	worker	worker_lag
20180101	1000	nan
20180101	1000	nan
20180103	2000	1000
20180103	2000	1000
20180103	2000	1000
20180104	500	2000

Comments

[kakurosu963]

回答ありがとうございます。丁度探していた方法でした

Answer 2

例えばこんな感じでしょうか。

import numpy as np
import pandas as pd
df = pd.DataFrame(
    data={'date': ['20180101', '20180101', '20180103', '20180103', '20180103', '20180104'],
          'worker': [1000, 1000, 2000, 2000, 2000, 500]}
)

ser1 = df.groupby(['date'])['worker'].head(1).shift()
ser2 = pd.Series(data=np.full(len(df), np.nan))
df['worker_lag'] = pd.concat([ser2, ser1], axis=1)['worker'].ffill()

print(df)

       date  worker  worker_lag
0  20180101    1000         NaN
1  20180101    1000         NaN
2  20180103    2000      1000.0
3  20180103    2000      1000.0
4  20180103    2000      1000.0
5  20180104     500      2000.0

Comments

[kakurosu963]

回答ありがとうございました。こちらも役に立ちました。