pandas 標準偏差を日毎に求める

Question

data

下記のようなdataframeがあります。
（実際のデータは数千万行のデータになります）
範囲指定で

日付	時間	price
2020-11-01	9:00	10
2020-11-01	10:00	20
2020-11-01	11:00	30
2020-11-01	12:00	40
2020-11-01	13:00	50
2020-11-02	9:00	100
2020-11-02	10:00	200
2020-11-02	11:00	300
2020-11-02	12:00	400
2020-11-02	13:00	500
2020-11-03	9:00	110
2020-11-03	10:00	120
2020-11-03	11:00	130
2020-11-03	12:00	140
2020-11-03	13:00	150

やりたいこと

日毎に前日までのpriceの標準偏差を算出したい。

欲しい結果

日付	標準偏差
2020-11-02	15.8113883
2020-11-03	177.40412

Answer 1

集合を結合したときの分散は、もとの集合の要素数、平均、分散がわかっていれば計算しなおせます。
(combine stdevとかで検索してみてください)

なので、日付でgroupbyして、要素数、平均、分散を計算しておけば、それらから複数日に対しての分散が計算できます。

下記では、式を変形して累計和(cumsum)で、前日までの標準偏差を計算するようにしてみました。

import pandas as pd
import numpy as np

df = ...

df2 = df.groupby('日付')['price'].agg(['count', 'mean', 'var'])
n = df2['count']
m = df2['mean']
v = df2['var']

N = n.cumsum().shift()
M = (n * m).cumsum().shift() / N
V = v * (n - 1) + (np.square(m - M) / (1 / N + 1 / n)).fillna(0.0)
V = V.cumsum().shift() / (N - 1)

stdev = np.sqrt(V).rename('標準偏差').to_frame()
print(stdev)
#                  標準偏差
#日付                    
#2020-11-01         NaN
#2020-11-02   15.811388
#2020-11-03  177.404121

数千万行のデータで動くかは未検証です。

Answer 2

質問のようなケースなら逐次的に計算するとよいでしょう。
参考：分散の逐次更新

具体的にはwelfordを使うと以下のように計算でき
日付の切り替わり毎にそれまでの値を出力すればよいです。

import pandas as pd
from io import StringIO
import math
import numpy as np
from welford import Welford

s = """日付,時間,price
2020-11-01,9:00,10
2020-11-01,10:00,20
2020-11-01,11:00,30
2020-11-01,12:00,40
2020-11-01,13:00,50
2020-11-02,9:00,100
2020-11-02,10:00,200
2020-11-02,11:00,300
2020-11-02,12:00,400
2020-11-02,13:00,500
2020-11-03,9:00,110
2020-11-03,10:00,120
2020-11-03,11:00,130
2020-11-03,12:00,140
2020-11-03,13:00,150"""
df = pd.read_csv(StringIO(s))
df['date'] = pd.to_datetime( df['日付'] + ' ' + df['時間'])
df = df.loc[:,['date','price']]

row = []
w = Welford()
for v in df['price']:
    w.add(np.array(v))
    row.append([w.mean, math.sqrt(w.var_s)])

row = np.array(row)
df['mean'] = row[:,0]
df['std'] = row[:,1]
print(df)
"""
                  date  price        mean         std
0  2020-11-01 09:00:00     10  153.333333         NaN
1  2020-11-01 10:00:00     20  153.333333    7.071068
2  2020-11-01 11:00:00     30  153.333333   10.000000
3  2020-11-01 12:00:00     40  153.333333   12.909944
4  2020-11-01 13:00:00     50  153.333333   15.811388
5  2020-11-02 09:00:00    100  153.333333   31.885211
6  2020-11-02 10:00:00    200  153.333333   66.547513
7  2020-11-02 11:00:00    300  153.333333  103.639140
8  2020-11-02 12:00:00    400  153.333333  140.781549
9  2020-11-02 13:00:00    500  153.333333  177.404121
10 2020-11-03 09:00:00    110  153.333333  169.115345
11 2020-11-03 10:00:00    120  153.333333  161.658075
12 2020-11-03 11:00:00    130  153.333333  154.952433
13 2020-11-03 12:00:00    140  153.333333  148.924717
14 2020-11-03 13:00:00    150  153.333333  143.510411
"""

print(df['price'].describe())
"""
count     15.000000
mean     153.333333
std      143.510411
min       10.000000
25%       45.000000
50%      120.000000
75%      175.000000
max      500.000000
Name: price, dtype: float64
"""

Comments

[mn.py]

Welfordというのを初めて知りました！ありがとうございました！！やってみます！

Answer 3

以下です。

>>> print(df)
          日付   時間  price
0   2020-11-01   9:00     10
1   2020-11-01  10:00     20
2   2020-11-01  11:00     30
3   2020-11-01  12:00     40
4   2020-11-01  13:00     50
5   2020-11-02   9:00    100
6   2020-11-02  10:00    200
7   2020-11-02  11:00    300
8   2020-11-02  12:00    400
9   2020-11-02  13:00    500
10  2020-11-03   9:00    110
11  2020-11-03  10:00    120
12  2020-11-03  11:00    130
13  2020-11-03  12:00    140
14  2020-11-03  13:00    150
>>> print(df.groupby('日付')[['price']].std().rename(columns={'price':'標準偏差'}).reset_index())
         日付    標準偏差
0  2020-11-01   15.811388
1  2020-11-02  158.113883
2  2020-11-03   15.811388

Comments

[mn.py]

ありがとうございました。
日毎ではなく、前日までの全てのpriceの標準偏差を求めたかったのです。
質問の題名が悪かったです。ごめんなさい。

[ppaul]

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.date_range.html
に書かれているdate_rangeで日付の列を作り、
それ以下の行を抽出し、
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.std.html
に書かれているdate_rangeで標準偏差をとればできます。
ただし、処理量が多いので、数千万行のデータでやると終わらないでしょう。

[mn.py]

そうですよね、、処理の速度も並列化して短縮しないとだめですよね、、、ありがとうございました！