pandas の MultiIndex を csv のようなテーブルに変換する方法について

Question

df.reset_index(drop=False)してもデータが変？

• pivot_table でそれっぽい形になるがカラム名が変。
• エクスポートした時の空白を消して csv のような形にしたい

整形前のデータ (test)

category	cnt	dept	item	ymd
A	12	100100	100	2
B	3	100200	200	2
A	4	100100	200	3
C	30	100200	300	4

理想

• category の要素{A,B,C}を列に持ってきてcntを格納。
• NaN は 0 で置換

ymd	dept	item	A	B	C
2	100100	100	12	0	0
2	100200	200	0	3	0
3	100100	200	4	0	0
4	100200	300	0	0	30

ymd     4 non-null object
item    4 non-null object
A       4 non-null float64
B       4 non-null float64
C       4 non-null float64

現実

• なんかズレてる
• カラム名が変？

	ymd	item	cnt	cnt	cnt
category			A	B	C
0	2	100	12	0	0
1	2	200	0	3	0
2	3	200	4	0	0
3	4	300	0	0	30

(ymd, )     4 non-null object
(item, )    4 non-null object
(cnt, A)    4 non-null float64
(cnt, B)    4 non-null float64
(cnt, C)    4 non-null float64

ソース

# データの作成
test = pd.DataFrame(data={'ymd':['2','2','3','4'],
                          'category':['A','B','A','C'],
                          'dept':['100100','100200','100100','100200'],
                          'item':['100','200','200','300'],
                          'cnt':[12,3,4,30]
                         })
# group by で集計
test2=test.groupby(['ymd','category','dept','item'])['cnt'].sum()

# Dataframe 型に変換して、MultiIndex を解除
test3 = pd.DataFrame(test2).reset_index(drop=False)

# category を列に移動、NaN を 1で置換
test4=test.pivot_table(values=['cnt'],
                 index=['ymd','item'],
                 columns='category',
                 aggfunc='sum').fillna(0)

# MultiIndex 解除
test4.reset_index(drop=True)

Answer 1

集計している部分がなかったので、category列ごとに機械的に入れてしまう方法もありそうです。

test2 = test.copy()
test2.index = test2[['dept', 'item']].apply(
    lambda x: '{}{}'.format(*x), axis=1)

for category in test2['category'].unique():
    test2[category] = test2.loc[test2['category'] == category, 'cnt']

test2.reset_index(inplace=True)
test2.drop(['index', 'category', 'cnt'], axis=1, inplace=True)
test2.fillna(0, inplace=True)

Comments

[tf23yh8df3]

ありがとうございます。
期待通りの結果を確認できました。
実際のデータは ymd と、item と dept で集計しています。
dept と item を index にしているのはどうしてですか。

[driller]

データを代入するに当たって一意の index が欲しかったため、dept と item をつなげて index としましたが、MultiIndex でも構わないと思います。

[tf23yh8df3]

なるほど。
test.cnt が A～C列のデータだったのでそれと必要なカラムを連結する方法もありました。

Answer 2

解決手段

test5 = test.cnt
pd.concat([test.ymd, test.item, test5], axis=1)