Pandas DataFrameを使った表の作成。まったく違った表からの作成。または、Dataframeの任意の位置の値の更新を変数を使って。

Question

実現したいこと

以下のようなデータがあります。

# A, B, D1 - D3, val値
d = [
('AB', 'R1', 'D2', 3),
('AB', 'R1', 'D2', 5),
('AB', 'R2', 'D2', 10),
('CA', 'S2', 'D3', 20),
('TX', 'R1', 'D1', 30),
('CA', 'S1', 'D3', 21),
('TX', 'S1', 'D2', 33),
]

次のようなDataframeを作りたいと考えています。
（一覧表csvを出力したいため）

A	B	D1	D2	D3	D3
0	AB	R1	NaN	8	NaN
1	AB	R2	NaN	10	NaN
2	CA	S1	NaN	NaN	21
3	CA	S2	NaN	NaN	20
4	TX	R1	30	NaN	NaN
5	TX	S1	NaN	33	NaN

一致するA,Bの行に、指定されたD1 - D3にval値を入れる。
同じA,B,D1 - D3の場合は、val値を加算して加える。
（A&Bの重複はありません）

質問

質問１
目的達成のための手段（方針）
下記の試したやり方よりももっとスマートな方法がありますか？

質問２（質問１答次第では不要なのですが、その答えとは別に教えてください）
下記ソースの引用テキストindexをqueryで取得して、df[x][y]で代入しようとしている部分を
どう直したら動くのでしょうか？

２次元配列を使ってゴリゴリやればできると思いますが、
できましたらPandas（またはNumpy）を使って、
Pandas（またはNumpyらしい）スマートな
やり方で表を作りたいと考えております。

以上、よろしくお願い致します。

該当のソースコード

d = [
('AB', 'R1', 'D2', 3),
('AB', 'R1', 'D2', 5),
('AB', 'R2', 'D2', 10),
('CA', 'S2', 'D3', 20),
('TX', 'R1', 'D1', 30),
('CA', 'S1', 'D3', 21),
('TX', 'S1', 'D2', 33),
]

df = pd.DataFrame(d, columns = ['A', 'B', 'd_type', 'value'])


# 出力したい表の外枠を作ります

## A,Bの重複を取り除いて、すべての行を作ります
df2 = df[['A', 'B']]
df2 = df2.drop_duplicates(subset=['A', 'B'])

## df2にD1-D3列を追加
df2['D1'] = np.nan
df2['D2'] = np.nan
df2['D3'] = np.nan


# indexをqueryで取得して、df[x][y]で代入しようと考えました
for a, b, d_type, value in d:
    print(a, b, d_type, value)

    idx = df2.query('a == @a').index[0]
    df2[f"{d_type}"][f"{idx}"] += value


# 出来上がったdf2をcsvに出力
　　（省略）

発生している問題・エラーメッセージ

上記ソースの引用テキストindexをqueryで取得して、df[x][y]で代入しようとしている部分が
Pandasをまだよく理解していないため、見当違いでエラーで動きません。

補足情報（FW/ツールのバージョンなど）

Python 3.11.2
pandas 1.5.3

Answer 1

質問1

Pivot table を使います。

dfx = df.groupby(['A', 'B', 'd_type']).sum().reset_index(level='d_type')\
        .pivot(columns='d_type', values='value').reset_index().rename_axis(None, axis=1)

print(dfx)

A	B	D1	D2	D3
AB	R1	NaN	8	NaN
AB	R2	NaN	10	NaN
CA	S1	NaN	NaN	21
CA	S2	NaN	NaN	20
TX	R1	30	NaN	NaN
TX	S1	NaN	33	NaN

Comments

[kanchiru]

たった一行でできるなんて、感動です。
ご教授、ありがとうございました。

いろいろ調べましたが、方針が見当違いでした。
どうpivotに辿り着けばよかったか、反省中です。
これをはげみに精進を続けたいと思います。

ちなみに、d_typeがD4,D5もあって、
（今回はたまたまD4,D5のデータはないですが）
それらの列だけは作りたい時は、どうすれば良いでしょうか？
（中身がNaNのD4,D5の２列をpd.concatする形ではなく）

[melian]

はい、その場合は、

dfx[['D4', 'D5']] = np.nan

とします。

[kanchiru]

さっそくのご回答ありがとうございました。
たとえば、d_typeはD1 - D10まであって、
すべてD1 - D10の値があるわけではない場合、
しかし、
表はA, B, D1, D2, ... , D10と
すべての列を出したい場合
スマートな方法はあるでしょうか？

それとも、上記のように、手で任意の列?に、NaNのD?の列を挿入しなければならないでしょうか？

[melian]

スマートではありませんが、以下の様になるかと思います。(列名をソートする部分が少し面倒です)

cols = [f'D{i}' for i in range(1, 11) if f'D{i}' not in dfx.columns]
dfx[cols] = np.nan
dfx = dfx.reindex(sorted(dfx.columns, key=lambda i: int(i[1:]) if i.startswith('D') else -1), axis=1)

[kanchiru]

空の列を作ってdataframeに付け足し、
そのあと列名columnsをソートですね。

columnsでの操作、大変参考になり、理解も深まりました。
今回のケースでなく、いろいろ応用を広げられそうです。

素晴らしいご回答ありがとうございました。