Pandas,DataFrameの横長データへの変換方法

Question

以下図のように、PandasのDataFrameを横長のシートに変換したいと思っております。
for文を使うのは一つかと思いますが、実際はアイテム数も大きいので、標準メソッドで実施したいと思っています。

何かしらよいメソッドはありますでしょうか？

Answer 1

df.pivot()を用いるのが簡便かと思われます。
pandas.DataFrame.pivot — pandas 1.0.2 documentation

また、id1・id2列がインデックスに設定されている場合は、df.unstack()を用いることができます。
pandas.DataFrame.unstack — pandas 1.0.2 documentation

ケース1

data = {'id1': [1, 1, 1, 2, 2, 2],
        'id2': [1, 2, 3, 1, 2, 3],
        'item1': [1, 4, 7, 1, 4, 7],
        'item2': [2, 5, 8, 2, 5, 8],
        'item3': [3, 6, 9, 3, 6, 9]}
df = pd.DataFrame(data)
print(df)

	id1	id2	item1	item2	item3
0	1	1	1	2	3
1	1	2	4	5	6
2	1	3	7	8	9
3	2	1	1	2	3
4	2	2	4	5	6
5	2	3	7	8	9

このとき、

new_df = df.pivot('id1', 'id2')
print(new_df)

id1	('item1', 1)	('item1', 2)	('item1', 3)	('item2', 1)	('item2', 2)	('item2', 3)	('item3', 1)	('item3', 2)	('item3', 3)
1	1	4	7	2	5	8	3	6	9
2	1	4	7	2	5	8	3	6	9

質問にある例と全く同一の形式に変換するには、

new_df = df.pivot('id1', 'id2')
new_df.sort_index(axis=1, level=1, inplace=True)
new_df.set_axis(['-'.join([c1, str(c2)]) for c1, c2 in new_df.columns],
                axis=1, inplace=True)
print(new_df)

id1	item1-1	item2-1	item3-1	item1-2	item2-2	item3-2	item1-3	item2-3	item3-3
1	1	2	3	4	5	6	7	8	9
2	1	2	3	4	5	6	7	8	9

ケース2（id列がindexのとき）

data = {'id1': [1, 1, 1, 2, 2, 2],
        'id2': [1, 2, 3, 1, 2, 3],
        'item1': [1, 4, 7, 1, 4, 7],
        'item2': [2, 5, 8, 2, 5, 8],
        'item3': [3, 6, 9, 3, 6, 9]}
df = pd.DataFrame(data).set_index(['id1', 'id2'])
print(df)

	item1	item2	item3
(1, 1)	1	2	3
(1, 2)	4	5	6
(1, 3)	7	8	9
(2, 1)	1	2	3
(2, 2)	4	5	6
(2, 3)	7	8	9

このとき、

new_df = df.unstack()
new_df.sort_index(axis=1, level=1, inplace=True)
new_df.set_axis(['-'.join([c1, str(c2)]) for c1, c2 in new_df.columns],
                axis=1, inplace=True)
print(new_df)

id1	item1-1	item2-1	item3-1	item1-2	item2-2	item3-2	item1-3	item2-3	item3-3
1	1	2	3	4	5	6	7	8	9
2	1	2	3	4	5	6	7	8	9

ケース3（NumPyを使う方法）

id1・id2列がインデックスに設定されていて、id1とid2の組み合わせが全て網羅されている場合、33ブロックを19に組み替えるだけでいいので、以下の方法が使えます。

data = {'id1': [1, 1, 1, 2, 2, 2],
        'id2': [1, 2, 3, 1, 2, 3],
        'item1': [1, 4, 7, 1, 4, 7],
        'item2': [2, 5, 8, 2, 5, 8],
        'item3': [3, 6, 9, 3, 6, 9]}
df = pd.DataFrame(data).set_index(['id1', 'id2'])
# ケース2と同じ

このとき、

# NumPy配列に変換
arr = df.to_numpy()
# もし、'id1', 'id2'の組み合わせが網羅的でなく、ソートされていない場合（例えば、
print(df.sample(frac=0.9, random_state=0))
#          item1  item2  item3
# id1 id2                     
# 2   2        4      5      6
#     1        1      2      3
#     3        7      8      9
# 1   3        7      8      9
# 3   1        1      2      3
#     3        7      8      9
# 1   2        4      5      6　のようなとき）
# 'id1', 'id2'の組み合わせを網羅させ、NumPy配列に変換
arr = df.reindex(pd.MultiIndex.from_product(df.index.levels)).to_numpy()

# `ndarray.reshape()`を用いて組み換え、データフレームに変換
col = pd.MultiIndex.from_product((df.index.levels[1], df.columns))
new_df = pd.DataFrame(arr.reshape(df.index.levshape[0], -1),
                      index=df.index.levels[0], columns=col)

new_df.set_axis(['-'.join([c1, str(c2)]) for c1, c2 in new_df.columns],
                axis=1, inplace=True)
print(new_df)

id1	item1-1	item2-1	item3-1	item1-2	item2-2	item3-2	item1-3	item2-3	item3-3
1	1	2	3	4	5	6	7	8	9
2	1	2	3	4	5	6	7	8	9