pandasのDataFrameでの条件付きDrop

前提・実現したいこと

pythonのpandasを使用してDataFrameの処理をしたいのですが、以前に質問したことについて、想定外のデータが追加されたので、さらに追加で質問したく、投稿します。

発生している問題・エラーメッセージ

DataFrameはこのようなデータです。

これを以下のルールに従って処理したいと考えています。

a-numberとb-numberが同一のデータにおいて、時間が最新の"tag"=="on"のデータに"tag"=="off"のデータがなければ残す

処理後はこのようなデータが欲しいです。

具体例

[a-b]numberが0-0の場合-->on-offが揃っているのでdrop
[a-b]numberが0-1の場合-->onのデータしかないのでそのまま残す
[a-b]numberが0-2の場合-->C, D, Eそれぞれがon-off揃っているのでdrop
[a-b]numberが0-3の場合-->最新のonはHで、かつ、Hのoffはないのでそのまま残す
[a-b]numberが0-4の場合-->最新のonはJで、かつ、Jのoffはないのでそのまま残す

あまりにも難しくて手に負えなかったので、ぜひよろしくおねがいします。

データコピペ用

csv = """
datetime,a-number,b-number,tag,status
2021-11-12T01:01:01+09:00,00,0,A,on
2021-11-12T02:02:02+09:00,00,0,A,off
2021-11-12T03:03:03+09:00,00,1,B,on
2021-11-12T04:04:04+09:00,00,2,C,on
2021-11-12T05:05:05+09:00,00,2,D,on
2021-11-12T06:06:06+09:00,00,2,D,off
2021-11-12T07:07:07+09:00,00,2,C,off
2021-11-12T08:08:08+09:00,00,2,E,on
2021-11-12T09:09:09+09:00,00,2,E,off
2021-11-12T10:10:10+09:00,00,3,F,on
2021-11-12T11:11:11+09:00,00,3,G,on
2021-11-12T12:12:12+09:00,00,3,F,off
2021-11-12T13:13:13+09:00,00,3,H,on
2021-11-12T14:14:14+09:00,00,3,G,off
2021-11-12T15:15:15+09:00,00,4,I,on
2021-11-12T16:16:16+09:00,00,4,K,on
2021-11-12T17:17:17+09:00,00,4,J,on
2021-11-12T18:18:18+09:00,00,4,K,off
"""

data_list = pd.read_csv(io.StringIO(csv))
df = pd.DataFrame(data_list, columns = ["datetime","a-number","b-number","tag","status"])

melian

2021/11/12 11:34

提示されている条件でコピペ用データを処理すると、 datetime a-number b-number tag status 0 2021-11-12T03:03:03+09:00 0 1 B on 1 2021-11-12T13:13:13+09:00 0 3 H on 2 2021-11-12T17:17:17+09:00 0 4 J on となるのですが、元データの b-number の値がずれていませんか？

SHERRY

2021/11/13 04:06 編集

すみません、ズレていますね…… ご提示頂いている通り、 datetime a-number b-number tag status 0 2021-11-12T03:03:03+09:00 0 1 B on 1 2021-11-12T13:13:13+09:00 0 3 H on 2 2021-11-12T17:17:17+09:00 0 4 J on が正しいです。ありがとうございます。

行動規範の内容に同意します

回答1件

ベストアンサー

質問文に書かれている具体例での結果と処理後画像の内容とが一致していませんが、質問文の方が正しいとして以下の様になります。

python
1dfx = (
2  df.groupby(['a-number', 'b-number']).apply(
3    lambda x: 
4      x[x.datetime==(x[x.status=='on'].datetime.max())].apply(
5          lambda y:
6            y if all(~x.loc[x.tag==y.tag,'status'].isin(['off']))
7              else None, axis=1).dropna())
8    .reset_index(drop=True)
9    .astype({'a-number': int, 'b-number': int})[df.columns])
10
11print(dfx)
12
13_ = '''
14                    datetime  a-number  b-number tag status
150  2021-11-12T03:03:03+09:00         0         1   B     on
161  2021-11-12T13:13:13+09:00         0         3   H     on
172  2021-11-12T17:17:17+09:00         0         4   J     on
18'''