Dataframe の効率的な処理方法

Question

前提・実現したいこと

python で Dataframe に関する処理を実装しています。

既存のDataframeに何らかの評価を行い、

• 評価に使った列名(要素)
• 評価結果

を追加するような処理になります。

下記のように2通りの手法で実装できたのですが、どちらも無駄が多いように感じています。

• 実装1 (copy と concat)
• 実装2 (melt)

実装1は評価要素の数だけ複製を生成、実装2はwide型のDataframeを介して処理する必要がある。

より適切な手法があれば、ご教示おねがいします。

元データ

import pandas as pd

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'param1': [10, 20, 30],
    'param2': [40, 50, 60],
    'param3': [60, 20, 60],
})

#	name	param1	param2	param3
# 0	Alice	10	40	60
# 1	Bob	20	50	20
# 2	Charlie	30	60	60

実装1

method_list = ['param1', 'param2', 'param3']

df_list = []

for method in method_list:
    df_temp = df.copy()
    df_temp['method'] = method
    df_temp['judge'] = df_temp[method] > 50
    df_list.append(df_temp)

df_result1 = pd.concat(df_list)
df_result1.reset_index(drop=True, inplace=True)



# name	param1	param2	param3	variable	value
# 0	Alice	10	40	60	param1	False
# 1	Bob	20	50	20	param1	False
# 2	Charlie	30	60	60	param1	False
# 3	Alice	10	40	60	param2	False
# 4	Bob	20	50	20	param2	False
# 5	Charlie	30	60	60	param2	True
# 6	Alice	10	40	60	param3	True
# 7	Bob	20	50	20	param3	False
# 8	Charlie	30	60	60	param3	True

実装2

df_temp = df.copy()

col_dict = {'judge1': 'param1', 'judge2':'param2', 'judge3':'param3'}

for k, v in col_dict.items():
    df_temp[k] = df_temp[v] > 50

df_melt = df_temp.melt(
    id_vars=['name', 'param1', 'param2', 'param3'],
    value_vars=['judge1', 'judge2', 'judge3'])

df_result2 = df_melt.replace(col_dict)

補足情報（FW/ツールのバージョンなど）

Google Colab にて確認

Answer 1

基本は実装1をベースとします。
以下のように評価結果だけのデータを作成し、それを元データに外部結合する方法だと複製も不要で少しは簡潔になるかと思います。
なお、結果行の並びは結合にしたがいname→metho順となりますが、必要に応じてsort_valuesしてください。

import pandas as pd

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'param1': [10, 20, 30],
    'param2': [40, 50, 60],
    'param3': [60, 20, 60],
})

method_list = ['param1', 'param2', 'param3']
df_list = []
for method in method_list:
    judge = df[method] > 50
    df_temp = pd.DataFrame(index=judge.index, data={'method':method, 'judge':judge})
    df_list.append(df_temp)

df_judge = pd.concat(df_list)
df_result1 = df.merge(df_judge, left_index=True, right_index=True, how='outer')
df_result1.reset_index(drop=True, inplace=True)
print(df_result1)
"""
      name  param1  param2  param3  method  judge
0    Alice      10      40      60  param1  False
1    Alice      10      40      60  param2  False
2    Alice      10      40      60  param3   True
3      Bob      20      50      20  param1  False
4      Bob      20      50      20  param2  False
5      Bob      20      50      20  param3  False
6  Charlie      30      60      60  param1  False
7  Charlie      30      60      60  param2   True
8  Charlie      30      60      60  param3   True
"""

Comments

[fpfpfp]

回答ありがとうございます。以下の2点参考になりました。
・評価結果だけのデータを作成する
・外部結合する
各種結合方法についての理解がまだ曖昧なので、そのへんをあらためて確認しようと思います。