Pandas groupby時に、文字列が同じ場合は結合せずにそのままにしたい＋グルーピングの個数を追加したい

Question

実現したいこと

以下の２つの処理をしたいと考えています。

質問(1)

Python Pandas Dataframeを使って、データ1を下記のような条件でデータ2のようにまとめたい（データ1→データ2）

• ID1とID2でグルーピングしたい
• 数字はsumしたい
• 文字列は結合したい（できれば「+」をつけたい）
• ただし、文字列が同じ場合は結合せず１つだけにする

さらに、可能なら

• ID2だけ文字列と同じ扱いにしたい。
• もしそれが困難な場合は、ID2は使わないので、sumしてしまってもよい

（蛇足な質問です。先に、数字でなく文字列（dataframeの型を文字に）にすれば良いかもしれませんが、Pandasの使い方として、列ごとに指定できるか知りたいと思います）

質問(2)

さらに、種類1、種類2でグルーピングし、そのさいにまとめた時の個数と値1、値2にそれぞれ個数をかけた合計値1、合計値値2を追加したい（データ2→データ3）
（グルーピング時に、種類2名、値1、値2は同じなので、そのまま）

以上、よろしくお願い致します。

データ1

ID1	ID2	種類1	種類2	種類2名	値1	値2
D001	1	S02	P001	丸	13	37
D001	1	S03	P001	丸	6	28
D001	1	S05	P001	丸	2	20
D001	2	S02	P002	三角	10	10
D001	2	S05	P002	三角	5	6
D001	3	S02	P003	四角	11	11
D002	1	S02	P004	線	15	12
D002	1	S03	P004	線	9	8
D003	1	S02	P002	三角	10	10
D003	1	S06	P002	三角	2	3
D003	2	S02	P002	三角	10	10
D003	2	S05	P002	三角	5	6
D003	3	S01	P005	丸	1	1

データ2

ID1	ID2	種類1	種類2	種類2名	値1	値2
D001	1	S02+S03+S05	P001	丸	21	85
D001	2	S02+S05	P002	三角	15	16
D001	3	S02	P003	四角	11	11
D002	1	S02+S03	P004	線	24	20
D003	1	S02+S06	P002	三角	12	13
D003	2	S02+S05	P002	三角	15	16
D003	3	S01	P006	丸	1	1

データ3

種類1	種類2	種類2名	値1	値2	個数	合計値1	合計値2
S02+S03+S05	P001	丸	21	85	1	21	85
S02+S05	P002	三角	15	16	2	30	32
S02	P003	四角	11	11	1	11	11
S02+S03	P004	線	24	20	1	24	20
S02+S06	P002	三角	12	13	1	12	13
S01	P006	丸	1	1	1	1	1

該当のソースコード

質問(1)について

# 本来はcsvを読み込んでいます。それにあわせるために、astype(int)しました。
import pandas as pd

df = pd.DataFrame([
['D001','1','S02','P001','丸','13','37'],
['D001','1','S03','P001','丸','6','28'],
['D001','1','S05','P001','丸','2','20'],
['D001','2','S02','P002','三角','10','10'],
['D001','2','S05','P002','三角','5','6'],
['D001','3','S02','P003','四角','11','11'],
['D002','1','S02','P004','線','15','12'],
['D002','1','S03','P004','線','9','8'],
['D003','1','S02','P002','三角','10','10'],
['D003','1','S06','P002','三角','2','3'],
['D003','2','S02','P002','三角','10','10'],
['D003','2','S05','P002','三角','5','6'],
['D003','3','S01','P005','丸','1','1']
],
columns=['ID1','ID2','種類1','種類2','種類2名','値1','値2'],
)

df['ID2'] = df['ID2'].astype(int)
df['値1'] = df['値1'].astype(int)
df['値2'] = df['値2'].astype(int)

dfg = df.groupby(['ID1','ID2']).sum()
print(dfg)

発生している問題

質問(1)について

ID1	ID2	種類1	種類2	種類2名	値1	値2
D001	1	S02S03S05	P001P001P001	丸丸丸	21	85

sumだけですと、文字列も結合されてしまいます。
グルーピングのさい、同一の場合は、１つだけにしたいのですが、その方法が分かりません。

補足情報（FW/ツールのバージョンなど）

Python 3.12.1
pandas 2.1.4

Answer 1

カラム毎に集計方式を変える方法を使えます。
公式ドキュメント
既定以外の集約方法の指定
https://pandas.pydata.org/docs/user_guide/groupby.html#aggregation-with-user-defined-functions
カラムごとに集約方法を変える
https://pandas.pydata.org/docs/user_guide/groupby.html#named-aggregation

使うとこんな感じですかね。

# 本来はcsvを読み込んでいます。それにあわせるために、astype(int)しました。
import pandas as pd

df = pd.DataFrame([
['D001','1','S02','P001','丸','13','37'],
# 略
['D003','3','S01','P005','丸','1','1']
],
columns=['ID1','ID2','種類1','種類2','種類2名','値1','値2'],
)

def agg_for_str(x):
    return "+".join(set(x))

dfg = df.groupby(['ID1','ID2']).agg(
    種類1=pd.NamedAgg(column="種類1", aggfunc=agg_for_str),
    種類2=pd.NamedAgg(column="種類2", aggfunc=agg_for_str),
    種類2名=pd.NamedAgg(column="種類2名", aggfunc=agg_for_str),
    値1=pd.NamedAgg(column="値1", aggfunc="sum"),
    値2=pd.NamedAgg(column="値2", aggfunc="sum")
)
print(dfg)

Comments

[kanchiru]

ご回答ありがとうございます。
質問（１）は解決いたしました。

カラムごとに集約方法を変える方法が行数は増えますが、直感的でした。
まずは、この方法で基本をおさえることができました。

さらにこの結果を処理する質問（２）のほうも教えていただければ幸いです。
よろしくお願い致します。

[TakaiY]

できたdfgを再集計すればいいだけですが、何がわからないのでしょう？

Answer 2

質問(1)
Python Pandas Dataframeを使って、データ1を下記のような条件でデータ2のようにまとめたい（データ1→データ2）

agg_method = {'int64': 'sum', 'object': lambda x: '+'.join(x.unique())}
type_method = {k: agg_method[str(v)] for k, v in df.iloc[:, 2:].dtypes.items()}
dfx = df.groupby(['ID1','ID2'], as_index=False).agg(type_method)

print(dfx)

ID1	ID2	種類1	種類2	種類2名	値1	値2
D001	1	S02+S03+S05	P001	丸	21	85
D001	2	S02+S05	P002	三角	15	16
D001	3	S02	P003	四角	11	11
D002	1	S02+S03	P004	線	24	20
D003	1	S02+S06	P002	三角	12	13
D003	2	S02+S05	P002	三角	15	16
D003	3	S01	P005	丸	1	1

質問(2)
さらに、種類1、種類2でグルーピングし、そのさいにまとめた時の個数と値1、値2にそれぞれ個数をかけた合計値1、合計値値2を追加したい（データ2→データ3）
（グルーピング時に、種類2名、値1、値2は同じなので、そのまま）

grp = dfx.iloc[:,2:].groupby(['種類1', '種類2'], as_index=False, sort=False)
dfy = grp.first()
dfy['個数'] = grp.size()['size']
dfy['合計値1'] = dfy['値1'] * dfy['個数']
dfy['合計値2'] = dfy['値2'] * dfy['個数']

print(dfy)

種類1	種類2	種類2名	値1	値2	個数	合計値1	合計値2
S02+S03+S05	P001	丸	21	85	1	21	85
S02+S05	P002	三角	15	16	2	30	32
S02	P003	四角	11	11	1	11	11
S02+S03	P004	線	24	20	1	24	20
S02+S06	P002	三角	12	13	1	12	13
S01	P005	丸	1	1	1	1	1

Comments

[kanchiru]

ご回答ありがとうございます。
質問（１）は解決いたしました。
・少しこったことになる場合はagg()を使う
・sumしたくない場合は、範囲を限定する（df.iloc）
・groupbyでindexにならないようにする（as_index=False)も気づきです。

さらにこの結果を処理する質問（２）のほうも教えていただければ幸いです。
よろしくお願い致します。

[kanchiru]

質問（２）
ご回答ありがとうございます。
しかし、
TypeError: <lambda>() got an unexpected keyword argument 'include_groups'
とでて実行できませんでした。
include_groupsを除くと実行できました。
pandasのドキュメントをみると、のぞいてしまっても問題なさそうですが、
どのような影響があるのでしょうか？

[melian]

apply() を使わない方法に書き換えましたので、そちらでお試しください。

[kanchiru]

種類1 種類2 種類2名 値1 値2
が同じことを利用ですね。
実現方法が本当にいろいろあります。

以上、すべて解決しました。
ありがとうございました。