Python : DataFrameのfor文の処理が遅い

Question

前提・実現したいこと

Pythonを使用しています。

• 実現したい内容 …

「　下記のコード(forから下)で問題なく動くのですがとても処理が遅いです。
newはサンプル用のデータなのですぐに終わるのですが、本番用のデータだととても時間がかかってしまいます。
改善する方法はあるのでしょうか。あれば教えていただきたいです。」

実行したコードとその結果

実行したコード

このようなコードを実行しました。

In[]:
new = pd.DataFrame({ '人物' : np.array(['a', 'a', 'a', 'a', 'b', 'b', 'c']),
                     '賞金' : np.array([10, 20, 0, 10, 50, 0, 10]),
                     '順位' : np.array([3, 2, 4, 3, 1, 4, 3])})
new = new.assign(賞金割合 = 0)
new = new.assign(平均賞金 = 0)

for i in new['人物'].unique():
    new['賞金割合'][new['人物']==i] = new['賞金'][new['人物']==i] / new['賞金'][new['人物']==i].sum()
    new['平均賞金'][new['人物']==i]  = new['賞金'][new['人物']==i].mean()
new

実行した結果

上記のコードを実行した結果、
以下のようになりました。

Out[]:

人物	賞金	順位	賞金割合	平均賞金
0	a	10	3	0.25	10
1	a	20	2	0.50	10
2	a	0	4	0.00	10
3	a	10	3	0.25	10
4	b	50	1	1.00	25
5	b	0	4	0.00	25
6	c	10	3	1.00	10

Answer 1

for文を使うのをやめて、Groupby.transform()を使いましょう

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.core.groupby.GroupBy.transform.html

import pandas as pd
import numpy as np
new = pd.DataFrame({ '人物' : np.array(['a', 'a', 'a', 'a', 'b', 'b', 'c']),
                     '賞金' : np.array([10, 20, 0, 10, 50, 0, 10]),
                     '順位' : np.array([3, 2, 4, 3, 1, 4, 3])})

new['平均賞金'] = new.groupby('人物')['賞金'].transform('mean') 
new['賞金割合'] = new.groupby('人物')['賞金'].transform(lambda d: d/d.sum())

print(new)
#  人物  賞金  順位  平均賞金  賞金割合
#0  a  10   3    10  0.25
#1  a  20   2    10  0.50
#2  a   0   4    10  0.00
#3  a  10   3    10  0.25
#4  b  50   1    25  1.00
#5  b   0   4    25  0.00
#6  c  10   3    10  1.00