処理を高速化したいです。

Question

前提・実現したいこと

pythonに関する質問です。
実行したい内容は下記1～4のコードになります。これを高速化する方法はあるでしょうか。
どなたかご教示お願い致します。
1.irisのpetal_length,petal_widthごとに,sepal_lengthの平均値を算出する。
2.irisのsepal_lengthに対して、1で算出した平均値を除く。
3.算出後にデータフレームを結合する。
4.5回繰り返す

発生している問題・エラーメッセージ

実行時間が長い。

該当のソースコード

import pandas as pd
import numpy as np
import os
from dfply import *
from sklearn.datasets import load_iris
iris = load_iris()
df = pd.DataFrame(iris['data'],columns=['sepal_length','sepal_width','petal_length','petal_width'])
petal_length_all = df['petal_length'].unique()
petal_width_all = df['petal_width'].unique()

df_tmp_summary=pd.DataFrame()

for i in range(0,5):
    for petal_length_Number in range(0, len(petal_length_all)):
        for petal_width_Number in range(0, len(petal_width_all)):
            df_tmp=df >> filter_by(X.petal_length == petal_length_all[petal_length_Number]) >> filter_by(X.petal_width == petal_width_all[petal_width_Number])
            df_tmp['sepal_length']=df_tmp['sepal_length'].apply(lambda x: x - df_tmp['sepal_length'].mean())
            df_tmp_summary = pd.concat([df_tmp_summary, df_tmp])

Comments

[meg_]

何か調べたり、試したりしたことがあれば質問に追記してください。

[hoshi-takanori]

「Python 高速化」でググりましょう。
https://qiita.com/ishitoki47259/items/1c2c25bf4bd71e6c105b

[kakii]

ご返信できず、申し訳ありませんでした。for文をできるだけ使用しないようにする、for文を使用する場合は内包表記を使用するようにする等、1つ１つ習得していきたいと思います。

Answer 1

arr = iris['data']
sidx = np.lexsort(arr[:, [2, 3]].T)
arr_s = arr[sidx]
idx = np.r_[True, (arr_s[1:, [2, 3]] !=  arr_s[:-1, [2, 3]]).any(1)].nonzero()[0]

sums = np.add.reduceat(arr_s[:, 0], idx, axis=0)
count = np.r_[idx[1:] - idx[:-1], arr.shape[0] - idx[-1]]
means = sums / count
res_arr = arr_s[:, 0] - np.repeat(means, count)

pd.DataFrame(np.concatenate((arr_s, res_arr[:,None]), 1))

を5回繰り返す、で良いでしょうか？

Comments

[kakii]

ご回答ありがとうございます。
"np.lexsort(arr[:, [2, 3]].T)"の部分で早速つまづいております。

arr[:, [2, 3]].Tでarrの2列目と3列目を取得、転置する。
np.lexsort(～）にて、1つ目の配列で昇順にソート、さらに2つ目の配列で昇順にソートするという意味であっているでしょうか？

そうであれば、下記を実行した際に、print(sidx)は[1 5 4 3 2 0]になる気がするのですが、[5 0 4 3 2 1]と出力されてしまいます。
sidx = np.lexsort(arr[4:10, [2, 3]].T)
print(arr[4:10, [2, 3]].T)
print(sidx)

[kirara0048]

np.lexsort() および np.argsort() で返却されるのは、「元の配列をソートするためのindex」です。

sidx = np.lexsort(arr[4:10, [2, 3]].T)
print(arr[4:10, [2, 3]][sidx])
[[1.5 0.1]
[1.4 0.2]
[1.4 0.2]
[1.5 0.2]
[1.4 0.3]
[1.7 0.4]]
（右側が小さい順・右側が同じ値のときは左側小さい順、でソートされています）

[1 5 4 3 2 0]というのは、「ソート後何番目に位置するか」かと思われますが、これは「 sidx.argsort() 」で得ることができます。

print(arr[4:10, [2, 3]][sidx][sidx.argsort()])
[[1.4 0.2]
[1.7 0.4]
[1.4 0.3]
[1.5 0.2]
[1.4 0.2]
[1.5 0.1]]
（元の配列に戻りました）

[kakii]

ようやくすべてが理解できました。
今まで私のPCでは13秒程度かかっていた処理でしたが、ほぼ0秒で処理できるようになりました！
numpyを正確に理解し、使いこなすことでここまで処理が速くなることに驚きました。。
また別の質問をさせていただくと思いますが、引き続きどうぞよろしくお願いいたします。