多次元配列でのnp.appendをlist appendを用いて高速化したい

Question

以下のコードは(z, y, x) = (1,100,200)の配列をz方向に100回appendするコードです．
n_loops = 100で実行時間は0.15[sec]なのですが，配列サイズを大きくしたり，n_loops=10000にすると途方もない時間がかかってしまいます．
そこでnp.appendをlist appendに変換すると早いと知り実装しようとしたのですが，list appendではaxisの指定が分からずとまってしまいました．
どなたか教えていただけないでしょうか？

import time
import numpy as np

data = np.empty((1,100,200))
n_loops = 100

#np.append                                                                                                
start_time = time.time()
for _ in range(n_loops):
    bbb = np.random.randint(low=1, high=5,size=1*100*200).reshape(1,100,200)
    data = np.append(data, bbb, axis=0)
end_time = time.time()

print(str(end_time - start_time) + ' [sec]') #print calculation time   

Comments

[ozwk]

最初から(n_loops,100,200)の配列を用意すれば良いんじゃないですかね

[loreeeee]

元のデータの配列サイズが実際にはさらに巨大なため，handlingしやすいように元データは小分けにしている事情があります．

Answer 1

そこでnp.appendをlist appendに変換すると早いと知り

誰だ、そんなこと言ったの・・・まあ確かに、ループのたびにオブジェクト作り直しで足していくよりは速いかもしれませんが。

「最初から(n_loops,100,200)の配列を用意すれば良い」という指摘がすでに上がっていますが、とりあえず、配列の連結がどうしても必要なら、

import time
import numpy as np

data = np.empty((1,100,200))
n_loops = 1000

# np.append                      
start_time = time.time()
for _ in range(n_loops):
    bbb = np.random.randint(low=1, high=5,size=1*100*200).reshape(1,100,200)
    data = np.append(data, bbb, axis=0)
end_time = time.time()
print(data.shape)
print(str(end_time - start_time) + ' [sec]') #print calculation time   
""" =>
(1001, 100, 200)
25.065351009368896 [sec]
"""

# listに入れてまとめてnp.concatenate
start_time = time.time()
lst = []
for _ in range(n_loops):
    bbb = np.random.randint(low=1, high=5,size=1*100*200).reshape(1,100,200)
    lst.append(bbb)
data = np.concatenate(lst, axis=0)
end_time = time.time()

print(data.shape)
print(str(end_time - start_time) + ' [sec]') #print calculation time   
""" =>
(1000, 100, 200)
0.22292709350585938 [sec]
"""

listに入れておいて、最後にまとめてnp.concatenateを呼ぶ。これで実用的な速度になるでしょう。

追記

# 空の配列を先に定義しておく
data = np.empty((n_loops,100,200))
start_time = time.time()
for i in range(n_loops):
    bbb = np.random.randint(low=1, high=5,size=1*100*200).reshape(1,100,200)
    data[i] = bbb
end_time = time.time()

print(data.shape)
print(str(end_time - start_time) + ' [sec]') #print calculation time   
""" =>
(1000, 100, 200)
0.16308903694152832 [sec]
"""

こっちの方が速い・・・かな？

Comments

[tachikoma]

例えばこことかですかね。 https://deepage.net/features/numpy-append.html

[hayataka2049]

なるほど。まあ、意図してることはわかりますが、最適な方法かと言われると微妙な気が・・・

[hayataka2049]

可変長の要求がなければ、今追記に書いた方法の方が微妙に良さそうです。メモリ消費も約半分で済みそうですし

[loreeeee]

hayataka2049さん，丁寧に回答して頂きありがとうございます．np.concatenateの方法で解決できました．横レスで申し訳ないのですが，メモリ消費量が半分で済むとありますが，メモリの消費量はどうやって確認できるのでしょうか？

[hayataka2049]

memory_profilerなどのメモリプロファイラを回すと見れます

[loreeeee]

ありがとうございます．一度確認してみます．

[hayataka2049]

手元でも今やってみて、確かに減ることは確認しました。１つのコード内に複数の関数を定義して書くとちょっと面倒くさいので、ファイルを分けた方が無難っぽいです

[mkgrei]

> https://deepage.net/features/numpy-append.html
これはもはや悪質ですね…

同じようなネタを一つ。
np.arrayよりlistの方が和の計算がはやいです。
import time
import numpy as np

n = 100000
a = np.arange(n)
b = list(range(n))

s = time.time()
ans = sum(a)
print(time.time() - s) -> 0.011241912841796875 s

s = time.time()
ans = sum(b)
print(time.time() - s) -> 0.0017781257629394531 s

理由はnp.sumを使っていないので、np.arrayを一度listにキャストしています。

s = time.time()
ans = np.sum(a)
print(time.time() - s) -> 0.00035858154296875 s

ネットの情報は鵜呑みにしてはいけない…

[loreeeee]

mkgreiさん，補足ありがとうございます．なるほど，型を意識してコードを組まないと余計に遅くなってしまうのですね．．．