datetimeオブジェクトの差をとる処理

Question

以下のようなpd.DataFrameがあるとします。

行いたい処理は各id毎にdateの差をとっていくことです。すでにid毎にdateは
sortされているものとします。

以下のコードで処理しようとしましたが、実際のデータは3000万行程（uniqueなidが30万ほど）あり、時間がかかりすぎだったので、途中で止めました。効率よくこの処理を行うにはどうすればよいでしょうか？

#dateの差をとっていく、ただしidが変わるときは0とする（違うcard_id間で差を取らないように気をつける）
for i in tqdm(range(len(df))):
    if i == 0:
        pass
    elif df['id'][i] == df['id'][i-1]:
        df['delta'][i] = df['date'][i] - df['date'][i-1]
    else:
        pass

Answer 1

can110さんのから改良。気持ちマシになると思いますが、そもそも遅い処理なのでどうだろうな面はあります。

import pandas as pd

df = pd.DataFrame({'id':['a','a','a','b','b','b'],'date':['2018/01/23','2018/01/24','2018/01/26','2018/01/23','2018/01/26','2018/01/30']})
df.loc[:,'date'] = pd.to_datetime(df['date'])

grp = df.groupby('id')
for grp_name, grp_idx in grp.groups.items():
    df.loc[grp_idx,'delta'] = df.loc[grp_idx,'date'].diff().fillna(0)

print(df)
"""
        date id  delta
0 2018-01-23  a 0 days
1 2018-01-24  a 1 days
2 2018-01-26  a 2 days
3 2018-01-23  b 0 days
4 2018-01-26  b 3 days
5 2018-01-30  b 4 days
"""

毎回fillnaするオーバーヘッドを削減（）したもの

import pandas as pd

df = pd.DataFrame({'id':['a','a','a','b','b','b'],'date':['2018/01/23','2018/01/24','2018/01/26','2018/01/23','2018/01/26','2018/01/30']})
df.loc[:,'date'] = pd.to_datetime(df['date'])

grp = df.groupby('id')
for grp_name, grp_idx in grp.groups.items():
    df.loc[grp_idx,'delta'] = df.loc[grp_idx,'date'].diff()

df.fillna(0, inplace=True)
print(df)
"""
        date id  delta
0 2018-01-23  a 0 days
1 2018-01-24  a 1 days
2 2018-01-26  a 2 days
3 2018-01-23  b 0 days
4 2018-01-26  b 3 days
5 2018-01-30  b 4 days
"""

別のアイデア

これでも良い気がします。速くはなるはずなんだけど、idごとに計測するのは無理かも。あと、上のループでどれくらい時間を食うかが懸念。

import pandas as pd

df = pd.DataFrame({'id':['a','a','a','b','b','b'],'date':['2018/01/23','2018/01/24','2018/01/26','2018/01/23','2018/01/26','2018/01/30']})
df.loc[:,'date'] = pd.to_datetime(df['date'])

before_id = None
zero_points = []
for i, id_ in df["id"].iteritems():
    if id_ != before_id:
        zero_points.append(i)
        before_id = id_

df.loc[:,"delta"] = df.loc[:,"date"].diff()
df.loc[zero_points,"delta"] = pd.Timedelta(0)
print(df)

"""
        date id  delta
0 2018-01-23  a 0 days
1 2018-01-24  a 1 days
2 2018-01-26  a 2 days
3 2018-01-23  b 0 days
4 2018-01-26  b 3 days
5 2018-01-30  b 4 days
"""

Comments

[nouken]

idあたり4~5秒になりましたので7時間ほどに短縮されました！
とりあえずこれで計算回してみたいと思います。
ありがとうございました！

[hayataka2049]

速くはなったけど微妙・・・とりあえずfillna外して、最後にまとめてfillnaする実装にするとどうなりますか？（追記します）

[8524ba23]

あ。fillnaは最後でやったほうが絶対いいですね。

[hayataka2049]

まあ、やるに越したことはないけどすごく効く高速化ではないか・・・

[nouken]

2~3s/itになりました！3.5時間ほどで終わりそうです！！勉強になります！

[hayataka2049]

思ったより効いた。ちょっと意外

[hayataka2049]

素直にfillna(0)すると新しいSeriesを返すからですかね

>>> import pandas as pd
>>> import numpy as np
>>> a = pd.Series([0, np.nan])
>>> id(a)
140342098511240
>>> id(a.fillna(0))
140342472549880

[nouken]

すみません、今気づいたんですが単位が分じゃなく時間だったので、200時間ぐらいかかってしまいそうです、上の別解を試してみます。。。

[hayataka2049]

そうですね・・・今なげた別解ですごく速くなるとも思えないし、最初にint64にして計算して最後にTimedeltaに直す方針じゃないときついかも

[nouken]

上の別解のゼロになるところをあらかじめ出しておいて、とりあえず全体で計算し、あとからゼロに置き換える方法、マジックのように30秒ほどで計算終わりました！　
これほど高速化できるのは驚きです。。。

[hayataka2049]

えっ、本当ですか？　ちゃんと正しい値になっているのでしょうか
diffが異様に速いのかー

[nouken]

確認しましたが、しっかり計算できていました。
本当に助かりました、ありがとうございました！

[8524ba23]

う～ん。大熊猫魔術（パンダマジック）ですね…

[hayataka2049]

200時間が30秒になるとは思わなんだ・・・誰よりも投稿した私が驚いているのですが、解決したなら何よりです。

https://github.com/pandas-dev/pandas/blob/master/pandas/core/series.py#L2061
ちゃんと追ってないけど、高速処理できる内部表現（intとか）にしてdiffして戻す処理をちゃんと作ってるみたいですね。これは脱帽しました（pandasに）。
というか、30万のidごとにちびちび取り出して書き込むオーバーヘッドが主だったてことか・・・まあ考えてみればそれはそうなんですが

[8524ba23]

diffって思ってた以上に速いんですね、私も驚きです。
今回のデータではid毎に取り出す処理だと厳しいですね。
実測することの意義にも改めて気づきました。

Answer 2

以下のような感じでできそうです。
idでグループ化してid毎にdiffを適用します。
先頭行はNaNになるのでfillna(0)で０で埋めています。

import pandas as pd

df = pd.DataFrame({'id':['a','a','a','b','b','b'],'date':['2018/01/23','2018/01/24','2018/01/26','2018/01/23','2018/01/26','2018/01/30']})
df.loc[:,'date'] = pd.to_datetime(df['date'])

grp = df.groupby('id')
for id in grp.groups:
    df.loc[df['id'] == id,'delta'] = df.loc[df['id'] == id,'date'].diff().fillna(0)

print(df)
"""
        date id  delta
0 2018-01-23  a 0 days
1 2018-01-24  a 1 days
2 2018-01-26  a 2 days
3 2018-01-23  b 0 days
4 2018-01-26  b 3 days
5 2018-01-30  b 4 days
"""

別解：先頭から舐める版

ユニークidが多く、各id毎の行数が少ない場合は、以下のように先頭から舐めて計算する方が速いかもしれません。

import pandas as pd

df = pd.DataFrame({'id':['a','a','a','b','b','b'],'date':['2018/01/23','2018/01/24','2018/01/26','2018/01/23','2018/01/26','2018/01/30']},
                    columns = ['id','date'])
df.loc[:,'date'] = pd.to_datetime(df['date'])
df['delta'] = 0

prev_id,prev_date = df.loc[0,'id'], df.loc[0,'date']
for idx,row in df.iterrows():
    cur_id = row['id']
    cur_date = row['date']
    if prev_id != cur_id:
        pass
    else:
        df.loc[idx,'delta'] = cur_date - prev_date
    prev_id = cur_id
    prev_date = cur_date

print(df)
"""
  id       date            delta
0  a 2018-01-23  0 days 00:00:00
1  a 2018-01-24  1 days 00:00:00
2  a 2018-01-26  2 days 00:00:00
3  b 2018-01-23                0
4  b 2018-01-26  3 days 00:00:00
5  b 2018-01-30  4 days 00:00:00
"""

Comments

[nouken]

回答ありがとうございます！やってみたのですが、各idの処理に約8秒かかり、全ての処理に12時間ほどかかってしまう計算になります。最初よりはだいぶ早くなったのですが、やはりこれは時間のかかる処理なんでしょうかね…

[8524ba23]

idあたり100行程度に８秒は時間がかかりすぎな感じがしますね…
なぜだろう？
8秒に、初回のグループ化の時間も含まれているとかはないですよね？

[nouken]

ids = set(df['id'])
for id in ids:
df.loc[df['id'] == id,'delta'] = df.loc[df['id'] == id,'date'].diff().fillna(0)

のようにやりましたのでそれは大丈夫です。

[nouken]

詳しくないのでよくわからないんですが、idが実際はハッシュ化された15文字の文字列なんですが、それとかは関係ないですよね？

[hayataka2049]

df['id'] == idは3000万の総なめ線形探索になると思うので、普通に8秒かかるんじゃないですかね

[8524ba23]

時間計測については了解しました。
私も大規模データでの実測経験はないので推測ベースでしかコメントできませんが
ハッシュ文字列のidをintの連番に振りなおし実際の速度を比較してみて違いが出るかですかね…

[8524ba23]

> df['id'] == idは3000万の総なめ線形探索になると思うので、
となると、下手にpandasでid毎に抽出するより、先頭からの走査で差分を取る手法のほうが速い可能性がありますね…idの切り替わりだけ注意しなければなりませんが。
forループが遅いとはいえ、走査だと１回舐めるだけですみますし。

[hayataka2049]

grp.groupsの値が
{'b': Int64Index([3, 4, 5], dtype='int64'), 'a': Int64Index([0, 1, 2], dtype='int64')}
なので一応groupbyした時点でインデックスは得られているから、使えばそこの速度は改善されるだろう、ということで回答つけてみました。

[8524ba23]

なるほど、グループ化によってインデックス化されているようですね。
これで実際の速度がどれほど短縮されるか気になるところです。

[nouken]

お二人ともありがとうございます！
多少高速になりました(4~5s/it)!

[8524ba23]

先頭からの走査で差分を取る手法での回答を追記しました。
もしかしたら、こちらのほうが速度アップするかもしれません（希望）。

[nouken]

試してみたのですが、手元ではループがなぜか回らず、エラーも吐かず、動かなくなってしまいました。。
一応解決しましたので、ありがとうございました！

[8524ba23]

あらら？
とりあえず解決して何よりです。

Answer 3

根本的な解決になっていないかもしれないですが内包表現でしたらforより早くなります。

Comments

[quickquip]

内包表記がforより速いのは、古い話ですよ。

[amo]

申し訳ありませんが初めて聞きました。
私が調べる限りそのような根拠が見つからないので、教えてもらえたらありがたいです。