groupbyした各groupから特定条件を満たす要素を1個づつ取り出したい

Question

質問概要

groupbyした各groupから特定条件を満たす要素を1行づつ取り出す処理を実装したいです。
python初学者で基本的な質問かもしれませんが、お知恵を拝借できますでしょうか。

実現したいこと

以下のようなdataframeに対し、日時でgroupbyを行った各groupの中から以下の条件を満たす行を1行づつ抽出したいです。

■group内の抽出条件
・エラーフラグが立っていない(エラー≠1)
・エラーフラグが立っていないデータが複数ある場合、IDが A>B>C の優先度で抽出する
・すべてエラーフラグが立っている場合、何も抽出しない

具体的には以下の例です。

■元のdataframe

日時	ID	計測値	エラー
2020-02-01 9:00:00	A	0	1
2020-02-01 9:00:00	B	10	0
2020-02-01 9:00:00	C	13	0
2020-02-01 10:00:00	A	20	0
2020-02-01 10:00:00	B	22	0
2020-02-01 10:00:00	C	18	0
2020-02-01 11:00:00	A	0	1
2020-02-01 11:00:00	B	0	1
2020-02-01 11:00:00	C	0	1
2020-02-01 12:00:00	A	0	1
2020-02-01 12:00:00	B	0	1
2020-02-01 12:00:00	C	13	0

■欲しいdataframe

日時	ID	計測値	エラー
2020-02-01 9:00:00	B	10	0
2020-02-01 10:00:00	A	20	0
2020-02-01 12:00:00	C	13	0

よろしくお願いします。

Answer 1

GroupBy.apply() から呼んだ関数内で質問に書かれた条件でフィルタリングするように記述するだけです。
今回の場合は

df[df['エラー']==0].groupby('日時').apply(lambda d:d.sort_values('ID').iloc[[0]])

でよいのではないでしょうか。

関数内で結果が空の場合の条件分岐をするのが面倒だったので、groupbyよりも先にエラー列でフィルタリングして、対象がない場合はそもそもグループが作成されないようにしてあります。

一応動作確認

import pandas as pd
import io

data = """
日時,ID,計測値,エラー
2020-02-01 9:00:00,A,0,1
2020-02-01 9:00:00,B,10,0
2020-02-01 9:00:00,C,13,0
2020-02-01 10:00:00,A,20,0
2020-02-01 10:00:00,B,22,0
2020-02-01 10:00:00,C,18,0
2020-02-01 11:00:00,A,0,1
2020-02-01 11:00:00,B,0,1
2020-02-01 11:00:00,C,0,1
2020-02-01 12:00:00,A,0,1
2020-02-01 12:00:00,B,0,1
2020-02-01 12:00:00,C,13,0
"""

df = pd.read_csv(io.StringIO(data), parse_dates=['日時'])


ret = df[df['エラー']==0].groupby('日時', group_keys=False).apply(lambda d:d.sort_values('ID').iloc[[0]])
print(ret)
#                    日時 ID  計測値  エラー
#1  2020-02-01 09:00:00  B   10    0
#3  2020-02-01 10:00:00  A   20    0
#11 2020-02-01 12:00:00  C   13    0

Comments

[kani_miso]

ありがとうございます。
回答いただいた方法でできました！
回答いただいたお二方のやりかたどちらも参考になるものでとても助かりました。
申し訳ありませんがベストアンサーは先に回答いただいた方にさせていただきました。

Answer 2

元のdataframeが df という変数に入っているとして、以下の処理で実現できるかと思いました。
下記の通り、カラム名について、エラーをERROR、日時をdate_timeという名前にしています。

元のdataframe

date_time	ID	VALUE	ERROR
2020/02/01 9:00:00	A	0	1
2020/02/01 9:00:00	B	10	0
2020/02/01 9:00:00	C	13	0
2020/02/01 10:00:00	A	20	0
2020/02/01 10:00:00	B	22	0
2020/02/01 10:00:00	C	18	0
2020/02/01 11:00:00	A	0	1
2020/02/01 11:00:00	B	0	1
2020/02/01 11:00:00	C	0	1
2020/02/01 12:00:00	A	0	1
2020/02/01 12:00:00	B	0	1
2020/02/01 12:00:00	C	13	0

処理内容

# date_timeを型変換
df['date_time'] = pd.to_datetime(df['date_time'])

# エラーが1のものだけ抽出
df = df.query("ERROR != 1")

# ABCをアスキーコード(数字)に変換
df["ID_num"] = df["ID"].apply(lambda x: ord(x))

# datetimeでgroup_by
df_group = df.groupby(by="date_time")

# 各groupにおいて、ID_numが最小の行のrowを取得する
df = df.loc[df_group['ID_num'].idxmin(),:]

# 最後に、date_timeでソート
df = df.sort_values('date_time', ascending=True)

得られる結果

上記を実行することで下記のような結果を得ることができるはずです

参考になる記事

アスキーコードについて
idxminの使い方

Comments

[kani_miso]

ありがとうございます。
無事やりたいことが実現できました！
助かりました。

[ash_fk]

解決したようで、良かったです！