pandasでグループごとの平均値を持ったカラムを高速に作る方法を教えてください。

Question

前提・実現したいこと

pandasでグループごとの平均値を持ったカラムを高速に作りたいと思っています。
目的としては、機械学習を行っており、ターゲットエンコーディングのために特定のカラムの値ごとに目的変数の平均を求める処理をしています。
しかしその処理に結構時間がかかっており、多くのカラム(やその組み合わせ)に対してターゲットエンコーディングを行っているのもあって、試行錯誤をするためにできればより高速に実現したいと思っています。
現在は以下のようにgroupby()で平均値を求めてから元のデータフレームにmerge()するという方法を取っています。

df_temp = df.groupby("集計変数")["目的変数"].mean().rename("平均目的変数").reset_index()
df = pd.merge(df, df_temp, on="集計変数", how="left")

ただこの方法だとどうもmerge()が結構遅いなと思っています。
特に集計変数が1変数ではなく複数変数の組み合わせになっている場合は時間がかかっているように思います。

そのため、
①merge()を使わないで同じことを高速に実現する方法はあるか
②merge()自体を高速化する方法はあるか
の二点、もしくはどちらか一方でも、もしご存知の方がいらっしゃいましたら教えていただけないでしょうか。
どうぞよろしくお願いいたします。

(追記)
マシンスペックは以下の通りです。
OS：windows 10
CPU: Intel Core i7-9700K
メモリ: 16GB
GPU: NVIDIA GeForce RTX 2700 SUPER
開発環境: jupyter notebook

Comments

[meg_]

マシンスペックが不明ではありますが、高速化の一方法としてはマルチプロセスもありかと思います。

[kazucchi4465]

マシンスペックを記載するのを失念しておりました。ご指摘ありがとうございます。
OS：windows 10
CPU: Intel Core i7-9700K
メモリ: 16GB
GPU: NVIDIA GeForce RTX 2700 SUPER
開発環境: jupyter notebook
です。
よろしくお願いいたします。

Answer 1

groupby() のあとに transform() を使うと、元の DataFrame と同じ形状になるので、そのまま列を追加できます。

Group By: split-apply-combine — pandas 1.0.1 documentation

import pandas as pd

data = pd.DataFrame(
    {
        "length": [7, 2, 4, 1, 2],
        "species": ["A", "A", "B", "B", "C"],
    }
)

data["mean"] = data.groupby("species").transform("mean")
print(data)
#    length species  mean
# 0       7       A   4.5
# 1       2       A   4.5
# 2       4       B   2.5
# 3       1       B   2.5
# 4       2       C   2.0

Comments

[kazucchi4465]

まさに知りたかったことをご回答いただきましてありがとうございます！大変助かりました！