Pandasで４行以上連続して条件を満たす行のみ残したい

Question

前提・実現したいこと

Pandasで時系列データの処理をしています。
OFFのときは0で、記録中はプラスの値が入っているのですが、たまにOFFなのに値が入っていることがあり、これを0にしたいです。４行以上連続で値が入っていれば記録中とみなします。

以下のような表で、「記録値」を「処理後」にしたいです。
|時刻|記録値|処理後|
|12:00|0|0|
|12:01|0|0|
|12:03|1|0|
|12:04|0|1|
|12:05|3|3|
|12:06|2|2|
|12:07|4|4|
|12:08|1|1|
|12:09|2|2|
|12:10|0|0|
|12:11|0|0|
|12:12|1|0|
|12:13|3|0|
|12:14|1|0|
|12:15|0|0|

発生している問題・エラーメッセージ

「該当行の上2行のいずれかが0かつ下2行のいずれかが0なら0にする」という処理をすると１点のみと２点連続は0になり、３点連続は１点のみになります。
(1点のみ：010→000 ２点連続：0220→0000　　３点連続：01110→01010)
これに続いて「上の行も下の行も0なら0にする」という処理をすることを考えました。
ただ、表全体に２段階の処理を適用することになるのでより速いやり方にしたいのですが思いつきません。

該当のソースコード

For i in range(2, (len(df)): #i-2がエラーにならないように3行目からループ(はじめの2行は常に0)
    if ((df.iat[(i+1),1] == 0)|(df.iat[(i+2),1] == 0))&((df.iat[(i-1),1] == 0)|(df.iat[(i-2),1] == 0)):
               df.iat[i, 1] = 0

For i in range(2, (len(df)):
    if (df.iat[(i+1),1] == 0)&(df.iat[(i-1),1] == 0):
               df.iat[i, 1] = 0

試したこと

新しい列を作って、0ならFalse、0より大きければTrueを入れて、TrueかFalseが連続しているところに同じ番号をつけるということもしてみたのですが、その先で「4行以上連続」をどう認識させればいいのか思いつきませんでした。

df['over0'] = df['記録値']>0
df['group'] = (df['over0'] != df['over0'].shift(1)).cumsum()

補足情報（FW/ツールのバージョンなど）

Python3.8

Comments

[melian]

間違えて投稿してしまいました。すみません。

Answer 1

|12:04|0|1|は|12:04|0|0|の書き間違いのように見えます。

それで良ければ、以下のようにすればできます。

df['flag'] = ((df['記録値']==0)|(df['記録値']==0).shift()).cumsum()
def f(df):
    if len(df)>=4:
        df['処理後'] = df['記録値']
    else:
        df['処理後'] = 0
    return df

print(df.groupby('flag').apply(f))

実行結果

>>> print(df)
     時刻  記録値
0   12:00       0
1   12:01       0
2   12:03       1
3   12:04       0
4   12:05       3
5   12:06       2
6   12:07       4
7   12:08       1
8   12:09       2
9   12:10       0
10  12:11       0
11  12:12       1
12  12:13       3
13  12:14       1
14  12:15       0
>>> df['flag'] = ((df['記録値']==0)|(df['記録値']==0).shift()).cumsum()
>>> def f(df):
...     if len(df)>=4:
...         df['処理後'] = df['記録値']
...     else:
...         df['処理後'] = 0
...     return df
...
>>> print(df.groupby('flag').apply(f))
     時刻  記録値  flag  処理後
0   12:00       0     1       0
1   12:01       0     2       0
2   12:03       1     3       0
3   12:04       0     4       0
4   12:05       3     5       3
5   12:06       2     5       2
6   12:07       4     5       4
7   12:08       1     5       1
8   12:09       2     5       2
9   12:10       0     6       0
10  12:11       0     7       0
11  12:12       1     8       0
12  12:13       3     8       0
13  12:14       1     8       0
14  12:15       0     9       0

Comments

[miraMirar]

綺麗なコードありがとうございます！　できました！
ただ勉強不足でどう動いているのかよくわからないので、これから勉強しようと思います。
((df['記録値']==0)|(df['記録値']==0).shift()でBool値が返ってきた時点で自分の知識を超えていました。）
12:04の「処理後」はご指摘の通り間違いです。

Answer 2

解決済になっていますが、ずばり、連続で値が入っているかどうかの判定ができるbinary_opening()という関数がありますので、これを使うのが簡単ですよ。
scipy.ndimage.binary_opening — SciPy v1.7.1 Manual

import pandas as pd
from scipy.ndimage import binary_opening

df = pd.DataFrame({
    '時刻': ['12:00', '12:01', '12:03', '12:04', '12:05', '12:06', '12:07', '12:08', '12:09', '12:10', '12:11', '12:12', '12:13', '12:14', '12:15'],
    '記録値': [0, 0, 1, 0, 3, 2, 4, 1, 2, 0, 0, 1, 3, 1, 0]})

N = 4

df['処理後'] = df['記録値'] * binary_opening(df['記録値'], [1]*N)

Answer 3

窓関数(rolling)を使ってもできそうです。

2回rollingをやっていて、
1回目(consecutive_fwd)は、その行以降で4行連続して記録値が正である行でTrueになります。
(rollingの窓が後ろ方向になるのであとでshiftしています)
2回目(consecutive)は、1回目でTrueになった行が4行目以内に含まれる行でTrueになります。

rollingは特段遅い処理でもないので、2回やってもそれほど問題ないと思います。

import pandas as pd

df = pd.DataFrame({
    '時刻': ['12:00', '12:01', '12:03', '12:04', '12:05', '12:06', '12:07', '12:08', '12:09', '12:10', '12:11', '12:12', '12:13', '12:14', '12:15'],
    '記録値': [0, 0, 1, 0, 3, 2, 4, 1, 2, 0, 0, 1, 3, 1, 0]})

N = 4

consecutive_fwd = (df['記録値'] > 0).rolling(N).sum().shift(1 - N) == N
consecutive = consecutive_fwd.rolling(N, min_periods=1).max() > 0
df['処理後'] = df['記録値'].where(consecutive, 0)

余談

上でやっていることは畳み込みと同じなので、速度を求めるなら numpy.convolve を使うと、かなり改善できると思います。

import numpy as np

window = np.ones(N, dtype=int)
consecutive_fwd = np.convolve(df['記録値'] > 0, window, mode='valid') == N
consecutive = np.convolve(consecutive_fwd, window) > 0
df['処理後'] = np.where(consecutive, df['記録値'], 0)

Comments

[miraMirar]

回答ありがとうございます。
どちらも使ったことのない関数で勉強になりました！
時系列データの処理に役立ちそうなので色々試してみたいと思います。

Answer 4

ただ、表全体に２段階の処理を適用することになるのでより速いやり方にしたいのですが思いつきません。

その 2 段階の処理を Pandas ではなくてリストで行ってみてはどうでしょうか。

import pandas as pd

df = pd.DataFrame({
        '時刻': pd.date_range("12:00", "12:14", freq="min").time,
      '記録値': [0, 0, 1, 0, 3, 2, 4, 1, 2, 0, 0, 1, 3, 1, 0],
})

r = df['記録値'].tolist()
l = len(r)

# 該当行の上2行のいずれかが0かつ下2行のいずれかが0なら0にする
r = r[:2] + [
      r[i+2] * any((all(r[i:(i+2)]), all(r[(i+3):(i+5)])))
      for i in range(l-4)
    ] + r[-2:]

# 上の行も下の行も0なら0にする
r = r[:1] + [r[i+1] * any((r[i], r[i+2])) for i in range(l-2)] + r[-1:]

# データフレームに反映
df['記録値'] = r

print(df.to_markdown(index=False))

時刻	記録値
12:00:00	0
12:01:00	0
12:02:00	0
12:03:00	0
12:04:00	3
12:05:00	2
12:06:00	4
12:07:00	1
12:08:00	2
12:09:00	0
12:10:00	0
12:11:00	0
12:12:00	0
12:13:00	0
12:14:00	0

Comments

[miraMirar]

ありがとうございます！
リストにするとループよりスマートですね。
Bool値をかけて0にするのは思いつきませんでした。
勉強になります。