Pandasでunstackの列名の指定の仕方、0の場合の列追加方法

Question

前提・実現したいこと

この表から括弧内の数値を分離して
例　16(1)の場合16をXXXの列、(1)をYYYの列に振り分け

日付	AAA	BBB	CCC	合計
8月5日	16(1)	36	3	55(1)
8月6日	11	30(1)	8	49(1)
8月7日	28(1)	33	13	74(1)
8月8日	15	10	2	27
8月9日	5	0	0	5
8月10日	4	0	0	4

下記のような図を作成したいのですが

	AAA	AAA	BBB	BBB	CCC	CCC	合計	合計
日付	XXX	YYY	XXX	YYY	XXX	YYY	XXX	YYY
8月5日	16	1	36	0	3	0	55	1
8月6日	11	0	30	1	8	0	49	1
8月7日	28	1	33	0	13	0	74	1
8月8日	15	0	10	0	2	0	27	0
8月9日	5	0	0	0	0	0	5	0
8月10日	4	0	0	0	0	0	4	0

試したことのようにcolumnsを直接指定ではなく
データによりcolumnsが変わるため自動で設定したい
CCC-YYYのように0の場合の列追加方法を教えてください
よろしくお願いします

該当のソースコード

import io
import pandas as pd

data = """\
日付,AAA,BBB,CCC,合計
8月5日,16(1),36,3,55(1)
8月6日,11,30(1),8,49(1)
8月7日,28(1),33,13,74(1)
8月8日,15,10,2,27
8月9日,5,0,0,5
8月10日,4,0,0,4
"""
df = pd.read_csv(io.StringIO(data), index_col=0)
dfs = [items.astype(str).str.extractall("([0-9,]+)").unstack(fill_value=0) for label, items in df.iteritems()]

df1 = pd.concat(dfs, axis=1)
df1

試したこと

arrays = [["AAA", "AAA", "BBB", "BBB", "CCC", "合計", "合計"], ["XXX", "YYY", "XXX", "YYY", "XXX", "XXX", "YYY"]]
tuples = list(zip(*arrays))
df1.columns = pd.MultiIndex.from_tuples(tuples)

CCC-YYY列がない

	AAA	AAA	BBB	BBB	CCC	合計	合計
日付	XXX	YYY	XXX	YYY	XXX	XXX	YYY
8月10日	4	0	0	0	0	4	0
8月5日	16	1	36	0	3	55	1
8月6日	11	0	30	1	8	49	1
8月7日	28	1	33	0	13	74	1
8月8日	15	0	10	0	2	27	0
8月9日	5	0	0	0	0	5	0

補足情報（FW/ツールのバージョンなど）

Pandas1.1

Answer 1

結合してからunstack()を使ってはどうでしょうか。

dfs = [items.astype(str).str.extractall("([0-9,]+)")
       for label, items in df.iteritems()]

df1 = (pd.concat(dfs, axis=1).set_axis(df.columns, axis=1)
       .rename(index={0: 'XXX', 1: 'YYY'}, level=1)
       .unstack().fillna(0).astype(int))

df1
#       AAA     BBB     CCC      合計
# match XXX YYY XXX YYY XXX YYY XXX YYY
# 日付
# 8月10日   4   0   0   0   0   0   4   0
# 8月5日   16   1  36   0   3   0  55   1
# 8月6日   11   0  30   1   8   0  49   1
# 8月7日   28   1  33   0  13   0  74   1
# 8月8日   15   0  10   0   2   0  27   0
# 8月9日    5   0   0   0   0   0   5   0

実際のところはリストにしてfor文で要素ごとに処理したほうが楽かつ早いかと思います。

import numpy as np

arr = []
for s in df.to_numpy().ravel().tolist():
    out = str(s).rstrip(')').split('(')
    if len(out) == 1:
        out += ['0']
    arr.append(out)

out_df = pd.DataFrame(
    np.array(arr, dtype=int).reshape(len(df), -1),
    index=df.index,
    columns=pd.MultiIndex.from_product((df.columns, ['XXX', 'YYY'])))
out_df
#       AAA     BBB     CCC      合計
#       XXX YYY XXX YYY XXX YYY XXX YYY
# 日付
# 8月5日   16   1  36   0   3   0  55   1
# 8月6日   11   0  30   1   8   0  49   1
# 8月7日   28   1  33   0  13   0  74   1
# 8月8日   15   0  10   0   2   0  27   0
# 8月9日    5   0   0   0   0   0   5   0
# 8月10日   4   0   0   0   0   0   4   0

Comments

[barobaro]

kirara0048 さんありがとうございます
MultiIndex時のrename方法とset_axisがわかりすごい勉強になりました

set_axisを使ったことがなかったのですが
サンプルをみて勉強します
ありがとうございました

[barobaro]

質問大丈夫でしょうか？

df1 = df1.set_axis(df.columns, axis=1)
df1.columns
Index(['AAA', 'BBB', 'CCC', '合計'], dtype='object')

df.columns
Index(['AAA', 'BBB', 'CCC', '合計'], dtype='object')

df1.columns == df.columns
array([ True, True, True, True])
columnsの結果が同じだったので

試しに
df1.colmuns = df.columnsだとエラーがでるのですが

/usr/local/lib/python3.6/dist-packages/ipykernel_launcher.py:1: UserWarning: Pandas doesn't allow columns to be created via a new attribute name - see https://pandas.pydata.org/pandas-docs/stable/indexing.html#attribute-access
"""Entry point for launching an IPython kernel.

df1.columns == df.columnsはだめで
set_axisはOKなのかわかりましたら教えてもらえますか？
set_axisはどういうときに使うのかわかれば教えてください

[kirara0048]

属性（df.XXX）に直接代入すること、つまり「 df.XXX = xxx 」のような書き方はするべきではないということです。
「 df.columns = xxx 」は「 df.set_axis(xxx, axis=1, inplace=True) 」で可能なので、後者を使うようにしてください。

[barobaro]

kirara0048 さん
どうもありがとうございます。
df.columns = xxx
ばっかりしていましたので今後は
df.set_axis(xxx, axis=1, inplace=True)
にするようにします