Pandas.DataFrameのデータ構造を変えたい（縦持ちから横持ちへ）

Question

前提

python 3.7.3
Anaconda　Jupyter Notebook

実現したいこと

元データイメージ

加工後データイメージ
「2019から2020にかけてID1はElemがAからBに変わった」と読めるような横持ちのデータにしたい。

発生している問題・エラーメッセージ

エラーはありません

該当のソースコード

import pandas as pd
import numpy as np
import itertools

#元データ（上記元データイメージと同じもの）
df = pd.DataFrame()
df["Year"] = ["2019","2020","2021","2019","2020","2021","2019","2020","2021"]
df["ID"] = [1,1,1,2,2,2,3,3,3]
df["Elem"] = ["A","B","A","C","B","A","A","C","B"]

#のちに結合する枠として、Yearの組み合わせをDataFrameの形で定義しておく
year = df["Year"].drop_duplicates()
year_list = year.sort_values().tolist()
ptn = itertools.combinations(year_list, 2) #IDの２つの組み合わせを設定
flame_df = pd.DataFrame([i for i in ptn], columns=["基準","比較"]) 
"""
     基準    比較
0  2019  2020
1  2019  2021
2  2020  2021
"""

#一意のIDをリスト形式で保持
ids = df["ID"].drop_duplicates() 
ids_list = ids.sort_values().tolist()

#本処理
output = pd.DataFrame()
for i in ids_list: #idごとに処理を回す
    tmp = flame_df.copy()
    tmp["ID"] = i
    #該当IDにおける基準年のElemをflame_dfにマージ
    std_merged = pd.merge(tmp,
                          df[df["ID"]==i],
                          how='left',
                          left_on=['基準','ID'],
                          right_on=['Year','ID']).drop(columns='Year')
    #該当IDにおける比較年のElemをflame_dfにマージ
    both_merged = pd.merge(std_merged,
                          df[df["ID"]==i],
                          how='left',
                          left_on=['比較','ID'],
                          right_on=['Year','ID']).drop(columns='Year')
    output = pd.concat([output, both_merged])

output.rename(columns={"Elem_x":"基準Elem", "Elem_y":"比較Elem"}, inplace=True)      

output

"""
     基準    比較  ID 基準Elem 比較Elem
0  2019  2020   1      A      B
1  2019  2021   1      A      A
2  2020  2021   1      B      A
0  2019  2020   2      C      B
1  2019  2021   2      C      A
2  2020  2021   2      B      A
0  2019  2020   3      A      C
1  2019  2021   3      A      B
2  2020  2021   3      C      B
"""

試したこと

縦持ちデータを横持にする際一般的にはpivot_tableを用いますが、
今回加工したい形に対応するaggfuncがないため、地道にやるしかないと思い、
上記のコードで実装してみました。

ただ実現はできたものの、IDの規模の規模が大きい場合、
IDごとに処理をループするこの書き方ではパフォーマンスに懸念があり・・・
より効率的な記述の作法がございましたらご意見をいただけますと幸いです。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

同じdf同士で、IDをキーにマージしてから、不要な行を削除してやるといいと思います。

output = pd.merge(
    df.rename(columns={'Year': '基準', 'Elem': '基準Elem'}),
    df.rename(columns={'Year': '比較', 'Elem': '比較Elem'}),
    on='ID'
)[['基準', '比較', 'ID', '基準Elem', '比較Elem']]

output = output[output['基準'] < output['比較']].reset_index(drop=True)

上では、カラム名を変更してからマージしていますが、マージしたあとカラム名を変更してもいいです。

Comments

[CookieM]

ご回答ありがとうございます！
とてもシンプルな記載で驚いています、パフォーマンス的にもとても優れいているためベストアンサーとさせていただきます。

Answer 2

for文を使わない一例です。

import pandas as pd

df = pd.DataFrame()
df["Year"] = ["2019","2020","2021","2019","2020","2021","2019","2020","2021"]
df["ID"] = [1,1,1,2,2,2,3,3,3]
df["Elem"] = ["A","B","A","C","B","A","A","C","B"]

df = df.sort_values(['ID', 'Year', 'Elem'])
dfs = []
for i in range(1, df.groupby('ID').count().max().max()):
    dfs.append(df.groupby('ID').apply(lambda x: x.shift(-i)).rename(columns={'Year':'比較', 'ID':'ID2', 'Elem':'比較Elem'}))
temp = []
for i in range(len(dfs)):
    temp.append(pd.concat([df, dfs[i]], axis=1))
df = (pd.concat(temp)).sort_values(['ID', 'Elem', 'Year'])
df = df.dropna(subset=['比較'])
df = df.drop('ID2', axis=1)
df = df.rename(columns={'Year':'基準', 'Elem':'基準Elem'})
df = df[['基準', '比較', 'ID', '基準Elem', '比較Elem']]
df = df.sort_values(['ID', '基準', '比較'])
df = df.reset_index(drop=True)
print(df)
#	基準	比較	ID	基準Elem	比較Elem
#0	2019	2020	1	A	B
#1	2019	2021	1	A	A
#2	2020	2021	1	B	A
#3	2019	2020	2	C	B
#4	2019	2021	2	C	A
#5	2020	2021	2	B	A
#6	2019	2020	3	A	C
#7	2019	2021	3	A	B
#8	2020	2021	3	C	B

Comments

[CookieM]

並び替え×シフトできれいに計算できるのは目から鱗でした。
爆速でのご回答ありがとうございました！