時系列のデータから高速にデータを取り出して結合するには（SQL, pandas)

Question

前提・実現したいこと

以下のような時系列のデータ(X)があった際に、先頭フラグ(Y)を基準として、そこから何サンプル毎、というような取り出し方をして新しいデータテーブルを作る際に、一発で変換する方法はありますでしょうか。SQL, pandas問いません。現在、for文を用いてstackをしていますが、処理が遅く困っています。

対象のデータ

X = 256, 250, 240, 230, 240, 244, 250, 260, 255, 264
Y = 1, 0, 0, 0, 1, 0, 0, 1, 0, 0

Y = 1の位置から3つ毎のデータを取得してテーブルにする

実現したい変換先データ

X = 256, 250, 240, 240, 244, 250, 260, 255, 264
L = 1, 1, 1, 2, 2, 2, 3, 3, 3

※Lは新データの番号

###現在のstack思考のコード

import pandas as pd

X = [256, 250, 240, 230, 240, 244, 250, 260, 255, 264]
Y = [ 1,   0,   0,   0,   1,   0,   0,   1,   0,   0]

data = pd.DataFrame()
data["X"] = X
data["Y"] = Y

print(data)

newX = []
newL = []
for label, index in enumerate(data[data["Y"]==1].index):
    newX.extend(data["X"][index:index+3].values)
    for i in range(3):
        newL.append(label)
    
newData = pd.DataFrame()
newData["X"] = newX
newData["L"] = newL
print(newData)
    

補足情報（FW/ツールのバージョンなど）

Comments

[meg_]

> 現在、for文を用いてstackをしていますが、処理が遅く困っています。
そちらのコードは掲載できますか？

[aokikenichi]

仕様がよくわかりません
「1の位置から3つ毎のデータ」とはなんでしょうか
Y=1の位置とすると256, 240, 260, ...
そのから3つ毎とすると
256, 250, 240, 240, 244, 250, 260, 255, 264となるかと思いますが

[akirajyunia]

ご回答ありがとうございます。現状のstack思考のpythonコードを追記しました。
Y=1の地点を見つけ、それを起点に3サンプル抽出し、stackしてく、というコードになっています。

Answer 1

ppaulさんと同様にcumsum()でLを計算したあと、Lでグループ化(groupby)して、先頭3行を取り出せば(head(3))いいです。

import pandas as pd

df = pd.DataFrame({
    'X': [256, 250, 240, 230, 240, 244, 250, 260, 255, 264],
    'Y': [ 1,   0,   0,   0,   1,   0,   0,   1,   0,   0]})

df['L'] = (df['Y'] == 1).cumsum()

df_new = df[df['L'] > 0].groupby('L').head(3)

Comments

[akirajyunia]

ありがとうございました。cumsum()に加えて、head()を用いれば出来たのですね。
for文を使うことなく書く事が出来ました。処理も早そうです。皆様ありがとうございました。

Answer 2

numpyを使用した例です。

import pandas as pd

X = [256, 250, 240, 230, 240, 244, 250, 260, 255, 264]
Y = [ 1,   0,   0,   0,   1,   0,   0,   1,   0,   0]

data = pd.DataFrame()
data["X"] = X
data["Y"] = Y

print(data)
#   X  Y
#0  256  1
#1  250  0
#2  240  0
#3  230  0
#4  240  1
#5  244  0
#6  250  0
#7  260  1
#8  255  0
#9  264  0

X2 = np.array(X)
Y2 = np.array(Y)
newX = np.hstack([X2[i:i+3] for i in np.where(Y2 == 1)[0]])
newL = np.hstack([[i]*3 for i in range(len(np.where(Y2 == 1)[0]))])

newData = pd.DataFrame()
newData["X"] = newX
newData["L"] = newL
print(newData)
#     X  L
#0  256  0
#1  250  0
#2  240  0
#3  240  1
#4  244  1
#5  250  1
#6  260  2
#7  255  2
#8  264  2

Answer 3

普通、こういうので求められるのは累積和なので、元データを修正してみました。

>>> print(df)
     X  Y  L
0  256  1  1
1  250  0  1
2  240  0  1
3  240  1  2
4  255  0  2
5  250  0  2
6  260  1  3
7  255  0  3
8  264  0  3
>>> df['L'] = df['Y'].cumsum()
>>> print(df)
     X  Y  L
0  256  1  1
1  250  0  1
2  240  0  1
3  240  1  2
4  255  0  2
5  250  0  2
6  260  1  3
7  255  0  3
8  264  0  3

求めるものがこれなら、pandasで累積和・累積積（cumsum, cumprod, cummax, cummin） をお読みください。

Comments

[akirajyunia]

ご回答ありがとうございます。cumsum等、今後使えそうです。
今回の場合ですと、元データ4サンプル目の230が、新しく作成するテーブルに含まれてしまいます。
今後の展開としては、cumsumをして、Lの重複が3個以上の物を排除するとかですかね。。。