pandasで複数の条件で新しく列を生成する。

Question

現在下記のようなデータを取得しています。

日付(datetimeindex)	時間(h)	ID	売れ数
2015-01-01 00:00:00	4	10	120
2015-01-01 00:00:00	4	3	100
2015-01-01 00:00:00	6	10	110
2015-01-01 00:00:00	1	2	90
2015-01-02 00:00:00	4	10	80
2015-01-02 00:00:00	1	3	70
2015-01-02 00:00:00	2	10	130
2015-01-02 00:00:00	5	5	140
2015-01-02 00:00:00	6	10	110

このデータに新しく同じ時間・同じIDの1日前のデータを付け加えたいと考えています。

この場合であれば

日付(datetimeindex)	時間(h)	ID	売れ数
2015-01-02 00:00:00	4	10	80

このデータに

日付(datetimeindex)	時間(h)	ID	売れ数
2015-01-01 00:00:00	4	10	120

こちらの120という売れ数を付け加え、

日付(datetimeindex)	時間(h)	ID	売れ数	前日売れ数
2015-01-02 00:00:00	4	10	80	120

というようなデータです。

これをデータフレーム全体に適用させるにはどのようにすればよろしいでしょうか。
宜しくお願いします。

Answer 1

いろいろ方法はありそうだけど・・。
とりあえずpandas.merge() 使って書いてみました。

import pandas as pd
import io

data = """
日付,時間,ID,売れ数
2015-01-01 00:00:00,4,10,120
2015-01-01 00:00:00,4,3,100
2015-01-01 00:00:00,6,10,110
2015-01-01 00:00:00,1,2,90
2015-01-02 00:00:00,4,10,80
2015-01-02 00:00:00,1,3,70
2015-01-02 00:00:00,2,10,130
2015-01-02 00:00:00,5,5,140
2015-01-02 00:00:00,6,10,110
"""

df = pd.read_csv(io.StringIO(data), parse_dates=['日付'], index_col='日付')

df1 = df.reset_index()
df2 = df.shift(1, freq='D').reset_index().rename(columns={'売れ数':'前日売れ数'})
res = pd.merge(df1, df2, on=['日付', '時間', 'ID'], how='left').set_index('日付')
print(res)
#            時間  ID  売れ数  前日売れ数
#日付
#2015-01-01   4  10  120    NaN
#2015-01-01   4   3  100    NaN
#2015-01-01   6  10  110    NaN
#2015-01-01   1   2   90    NaN
#2015-01-02   4  10   80  120.0
#2015-01-02   1   3   70    NaN
#2015-01-02   2  10  130    NaN
#2015-01-02   5   5  140    NaN
#2015-01-02   6  10  110  110.0

Comments

[pinocookie]

回答ありがとうございます。
うまくいきました。！

実際に使用しているデータには時間が抜けていたりしたので、以下のように同じ時間帯での平均値を補間しました。

res = pd.merge(df1, df2, on=['日付', '時間', 'ID'], how='left').set_index('日付')
nan_slice = np.isnan(res['前日売れ数'])
res['前日売れ数'].loc[nan_slice] = res['前日売れ数'].groupby([df['ID'], df['時間']]).transform('mean').loc[nan_list]

Answer 2

applyでaxis=1を利用します。
これで1行ずつ処理するのですが、lambda式で処理を指定します。
lambda式の中で、各列が参照できるので、その日付列から1日前を算出し、元のDataFrameからその算出した日付に該当する売れ数をlambda式の結果とします。

applyの結果を前日売れ数列に代入します。
f = lambda x: xxx(略)
df['前日売れ数'] = df.apply(f)