NumPyのndarrayに対する処理の効率の良い方法

Question

実現したいこと

お世話になります。

numpyのndarrayの中に、複数のX,Y,Z座標が格納されています。

[[X1, Y1, Z1],
 [X2, Y2, Z2],
       :
 [Xn, Yn, Zn]]

このndarrayを計算に使うために以下のような形に変形したいです。

[[X1 / Z1, X2 / Z2,  ...  Xn / Zn],
 [Y1 / Z1, Y2 / Z2,  ...  Yn / Zn], 
 [   1   ,    1   ,  ...     1   ]]

座標の数が多い(数十万ポイント)為、なるべく高速に処理をしたいと考えております。

試したこと

そこで、以下のようなコードを試しました。

import numpy as np

def func(input):
    return np.array([[line[0] / line[2], line[1] / line[2], 1] for line in input]).T

input = np.arange(300000).reshape([100000, 3])
output = func(input)

Forループで回すよりもかなり高速に実行できましたが、
転置をとっていたり内包表記で処理してからndarrayに再変換しているなど、
不要なメモリコピーなどを行っており、効率があまり良くないように感じます。

上記関数 Func をより効率良く記述する方法がありましたら教えて頂けないでしょうか。

よろしくお願い致します。

補足情報（FW/ツールのバージョンなど）

python : Python 2.7
numpy : 1.13.3

Answer 1

速度は分かりませんが、以下で良いかと思います。

import numpy as np

a = np.array( [[2,4,2],[10,100,5],[30,300,10]])
print(a)
"""
[[  2   4   2]
 [ 10 100   5]
 [ 30 300  10]]
"""
b = a[:,:2].T / a[:,2]
b = np.vstack([b,np.ones(b.shape[1])])
print(b)
"""
[[ 1.  2.  3.]
 [ 2. 20. 30.]
 [ 1.  1.  1.]]
"""

Comments

[hayataka2049]

似たようなことを試しましたが、いまいち遅かったです・・・ほかに1の部分の計算をやらないで済ませるいい方法ありませんかね？

[can110]

1の部分が遅いんですね、意外です…
うーん、いい方法ないかな～

Answer 2

むずかしく考えすぎですね。

とにかく余計なことをしないでnumpyの内部で処理させた方が速くなります。

• 内包表記を書かない
• インデックスで取り出すのも極力避ける
• リストで処理して配列に変換するのもやめる

といったあたりを注意するといいです。

import time
import numpy as np

# inputの名前は組み込み関数を上書きするので変えています
def func(input_): 
    return np.array([[line[0] / line[2], line[1] / line[2], 1] for line in input_]).T

# 転置してブロードキャストで割るだけ
# 結果の2行目は原理的には計算をケチれるのだが、ヘタに書くとかえって遅くなるのでノータッチ・・・
def func2(input_):
    return input_.T / input_[:,2] 

input_ = np.arange(300000).reshape([100000, 3])

t1 = time.time()
output1 = func(input_)
t2 = time.time()
print(t2 - t1)

t1 = time.time()
output2 = func2(input_)
t2 = time.time()
print(t2 - t1)

assert (output1 == output2).all()


""" =>
0.15896224975585938
0.002247333526611328
"""

Comments

[yak_jun]

> むずかしく考えすぎですね。
正にその通りと思いました。
計算した結果が列毎に割り算を行った結果と等価であるという事に気づかずに考えていました。

ありがとう御座いました。