python、5コードを実行し、処理スピードを比較。予想外の結果でした。考えられる理由は何でしょう？

Question

「勝率（勝ち数/総試合数）を計算する」というプログラムを、下記の5つのコードで実行し、その処理スピードを比較する、ということをしています。結果が予想外でしたので、その考察をお聞きしたいです。

5つのパターン
0. 単純なfor文で、一行ずつ処理

1. df.itterow()で一行ずつ処理
2. df.ittertuples()で一行ずつ処理
3. apply関数で、一気に処理
4. Numpyでベクトル化して、一気に処理

直感的（常識的）に考えると、処理スピードの速さは、

処理スピード（予想）：5>4>3>2>1

実際は、

処理スピード（実際）：5>3>1>2>4

になりました。

Numpyの計算とittertuples()の計算が速いことは、予想ができますが、
apply()の計算が単純なfor文よりも遅いという事実は、かなり衝撃的なのですが、
どんな理由が考えられるでしょうか？
apply()での処理が、for文の処理よりも遅いケースというのは、かなり特殊なケースでしょうか？

下記は、実行・比較したコードになります。

データの生成

import pandas as pd
import numpy as np

#データの生成
df = pd.DataFrame()
n_rows = int(1e5)
df['Team'] = np.random.rand((n_rows))
df['W'] = np.random.rand((n_rows))
df['G'] = np.random.rand((n_rows))
len(df)

%%timeit

# パターン１: 単純なfor文
list_win_percentage = []
for i in range(len(df)):
    list_win_percentage.append(df.loc[i, "W"]/df.loc[i, "G"])
df["win_percentage"] = list_win_percentage

%%timeit
# パターン2: df.itterow()で一行ずつ処理
list_win_percentage = []
for i, row in df.iterrows():
    list_win_percentage.append(row["W"]/row["G"])
    
df["win_percentage"] = list_win_percentage

%%timeit
# パターン3: df.ittertuples()で一行ずつ処理
list_win_percentage = []
for row_tuple in df.itertuples():
    list_win_percentage.append(row_tuple.W/row_tuple.G)
    
df["win_percentage"] = list_win_percentage

%%timeit
# パターン4: apply関数で、一気に処理
list_win_percentage = []
def calc_win_percentage(df):
    return df["W"] / df["G"]
    
df["win_percentage"] = df.apply(calc_win_percentage,
                                          axis=1)

%%timeit
# パターン5: Numpyでベクトル化して、一気に処理
df_2012["win_percentage"] = df_2012["W"].values/df_2012["G"].values

ご教授のほど、よろしくお願いいたします。

Comments

[t_obara]

考察というかProfileをとって見比べて見るのが一番かと思います。ソースもありますし、内部実装なども見比べるとよりわかりやすくなるかと思います。

Answer 1

そもそも、DataFrame.apply()による処理は速くない ということなのではないでしょうか。
「pandas apply performace」で検索すると日本語・英語でいろいろと情報がヒットします。

パターン4のプログラムを以下のように書き換えると、count値として100,000が表示されます。
.apply()を使って書くと1行で書けるけど、全ての行を一気に処理しているわけではなく、行数分ループ処理しているというだけなのでは。

count = 0
list_win_percentage = []
def calc_win_percentage(df):
    global count
    count += 1
    return df["W"] / df["G"]

df["win_percentage"] = df.apply(calc_win_percentage, axis=1)
print(f'count: {count:,}')