重複した値の列Aごとに列Bの累積和が0もしくはそのlength以上の行は削除したい。

Question

タイトルだとわかりづらいのでコードを記載します。
以下のように行を削除して加工後のデータにしたいです。
pandasで書く方法とpythonの二次元配列で書く方法をそれぞれ調べています。ご教示頂けませんでしょうか？

加工前のデータ

	id	correction
0	c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea	False
1	c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea	False
2	c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea	False
3	c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea	False
4	c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea	False
5	a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea    True
6	a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea	False
7	a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea	True
8	c9dfa9de-e357-4d1d-834d-15b3d6bbd8ea    True
9	c9dfa9de-e357-4d1d-834d-15b3d6bbd8ea    True

加工後のデータ

	id	correction
5	a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea    True
6	a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea	False
7	a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea	True

やったこと：
pythonコード

rc = results[['id', 'correction']]
rc.loc[rc.groupby('id')['correction'].sum()]

結果

id	correction
0.0	c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea	False
2.0	c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea	False
...
...
...

idが同じごとにcorrectionの部分の総和をだせばいいので上記のコードが正しいとおもっていましたが、なぜ同じidの行がでてしまい、不明のままです。

Comments

[meg_]

全体のコードが分からないので、違うかもしれませんが、
rc.locの結果が上記の結果のようになっているのでしょう。

「rc.groupby('id')['correction'].sum()」の値はどうなっていますか？

[sequelanonymous]

すみません、rc.locが原因でした。rc.groupby('id')['correction'].sum()の結果でよくよくみたらユニークになっていました。
ちなみに以下の書き方でも同じでしょうか？結果は同じように見えていますが。
rc.groupby('id').apply(lambda d: d['correction'].sum())

[meg_]

データ列が「id」「correction」のみの場合は
　　rc.groupby('id').sum()
で良いかと。
他の列もあるなら
　　rc.groupby('id')['correction'].sum()
でしょうか。

[sequelanonymous]

ありがとうございます。ちなみに今これをデータフレームを使わずに二次元配列としてデータを扱ってpandasとnumpyを使わずに書いています。

```
from itertools import groupby
from operator import itemgetter
results_arrays = results.values.tolist()
s = [(re[2], re[3]) for re in results_arrays]
unique = set(s)
この先がすすまない。。

```
今の所の結果
```
{('00d3f265-ac37-4275-a410-e4d845e198de', False),
('015cce40-6a0a-4055-a64b-d98cd4f9645d', False),
('015cce40-6a0a-4055-a64b-d98cd4f9645d', True),
('02a69399-02a4-4ba1-bb3a-f0e7e9981e4f', False),
('02a69399-02a4-4ba1-bb3a-f0e7e9981e4f', True),
('02ad865b-ee87-4a41-bb22-adcbe16cf63a', False),
('02ad865b-ee87-4a41-bb22-adcbe16cf63a', True),
('02b6e303-fa1a-4403-8877-f2a77ce76f9e', False),
('02b6e303-fa1a-4403-8877-f2a77ce76f9e', True),
('045f28d2-75c7-44ca-ab46-8d35249aee70', False),
```
出したい結果
```
('015cce40-6a0a-4055-a64b-d98cd4f9645d', False),
('015cce40-6a0a-4055-a64b-d98cd4f9645d', True),
('02a69399-02a4-4ba1-bb3a-f0e7e9981e4f', False),
('02a69399-02a4-4ba1-bb3a-f0e7e9981e4f', True),
('02ad865b-ee87-4a41-bb22-adcbe16cf63a', False),
('02ad865b-ee87-4a41-bb22-adcbe16cf63a', True),
('02b6e303-fa1a-4403-8877-f2a77ce76f9e', False),
('02b6e303-fa1a-4403-8877-f2a77ce76f9e', True),
```
なにかお気づきな点ありましたらご教示いただきたいです

[meg_]

辞書を使ってみるのはどうでしょうか？

Answer 1

今回のように、groupby() の結果を使って元のDataFrameをFilteringしたい場合は、groupby().apply() ではなく groupby().transform() を使うと良いかとおもいます。

タイトルのフィルタリングの条件を

correction列が全てTrue(df['correction'].all()) もしくは 全てFalse (not df['correction'].any())の列を削除する

と読み替えて実装すると

rc[rc.groupby('id')['correction'].transform(lambda d: (d.any()) & (not d.all()))]

で実現できるかと思います。
次に pandasを使わない方法ですが、key を id、valueを correctionのリスト とした dict型のデータを作成した後に、上記の条件でフィルタリングするとよいかと思います。

ということで、以下に動作サンプルを書きましたので参考にしてください。

import pandas as pd
import io

data = """
,id,correction
0,c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea,False
1,c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea,False
2,c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea,False
3,c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea,False
4,c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea,False
5,a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea,True
6,a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea,False
7,a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea,True
8,c9dfa9de-e357-4d1d-834d-15b3d6bbd8ea,True
9,c9dfa9de-e357-4d1d-834d-15b3d6bbd8ea,True
"""

### PANDAS を使った例 ###
rc = pd.read_csv(io.StringIO(data), index_col=0)
ret = rc[rc.groupby('id')['correction'].transform(lambda d: (d.any()) & (not d.all()))]
print(ret)
#                                     id  correction
#5  a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea        True
#6  a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea       False
#7  a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea        True


### LIST を使った例 ###
# データをList型に変換する
arrays = rc.reset_index().values.tolist()
# 重複を省いたUniqueなIDを求める
ids = {row[1] for row in arrays}
# データをidをkeyとしたdict型に変換
dict_data = {id:[] for id in ids}
for row in arrays:
    dict_data[row[1]].append(row[2])
# {'c6dfa9de-e357-4d1d-834d-15b3d6bbd8ea': [False, False, False, False, False], 'a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea': [True, False, True], 'c9dfa9de-e357-4d1d-834d-15b3d6bbd8ea': [True, True]}
# 条件に適合したIDを導く
target_id = [id for id, d in dict_data.items() if (any(d)) and (not all(d))]
# 結果表示
for idx, id, correction in arrays:
    if id in target_id:
        print(idx, id, correction)
#5 a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea True
#6 a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea False
#7 a8dfa9de-e357-4d1d-834d-15b3d6bbd8ea True