numpy配列（タプルのリスト）で度重なるextendにより重い箇所を軽くしたい

Question

こちらのコードのresのような、タプルの配列をfor文の中で結合して出来るnumpyの配列があります。（実際のコードから変数名や内容などをシンプル化しています。）

これを良く見てみると、arr_2の長さの分だけforループが行われ、その中で配列のextendが行われるため、arr_2が長くなってくると処理速度が極端に重くなることがわかりました。

これを配列の作り方などを上手くやることで、高速に処理することはできないでしょうか？

※forループの中のarr_1[4]の4のようなインデックスは、18個固定で数列のような規則性はありません。

# -*- coding: utf-8 -*-
import numpy as np

arr_1 = np.array([[0, 0, 1], [0, 0.5, -1], [-1, 0, -1], [0, -0.5, -1], [1, 0, -1]])
arr_2 = np.array([[0, 1, 2], [0, 1, 2]])

all_arr = []
for p in arr_2:
    all_arr = [
    (arr_1[0], p), (arr_1[1], p), (arr_1[2], p), 
    (arr_1[0], p), (arr_1[1], p), (arr_1[4], p),
    (arr_1[0], p), (arr_1[2], p), (arr_1[3], p), 
    (arr_1[0], p), (arr_1[3], p), (arr_1[4], p),
    (arr_1[1], p), (arr_1[2], p), (arr_1[4], p), 
    (arr_1[2], p), (arr_1[3], p), (arr_1[4], p)]
    all_arr.extend(all_arr)


vtype = [('type_a', np.float32, 3), ('type_b', np.float32, 3)]
res = np.array(all_arr, dtype=vtype)

print(res)

Answer 1

以下のようにnp.tileとnp.repeatを使用することで、かなり高速化することができました！

arr_1 = np.array([[0, 0, 1], [0, 0.5, -1], [-1, 0, -1], [0, -0.5, -1], [1, 0, -1]])
arr_2 = np.array([[0, 1, 2], [0, 1, 2]])

idxs = np.array([0,1,2,0,1,4,0,2,3,0,3,4,1,2,4,2,3,4])
arr_3 = arr_1[idxs]

vtype = [('type_a', np.float32, 3), ('type_b', np.float32, 3)]

arr1_repeat = np.tile(arr_3.T,2).T 
arr2_repeat = np.repeat(arr_2,arr_3.shape[0],0)

res = np.empty(arr1_repeat.shape[0],dtype=vtype)
res['type_a']=arr1_repeat
res['type_b']=arr2_repeat

Comments

[kirara0048]

arr1_repeat = arr_1[np.tile(idxs, 2)]
arr2_repeat = np.repeat(arr_2, idxs.size, 0)

Answer 2

こちら、「arr_1の特定の要素の並び方１８パターンに対して、それぞれｐをつけ足して、それをｐの分だけ付け足す」をしています。

試しに、for i in range(0,100000):でこのループを囲って疑似的に200000回ループしてみましたが、0.8秒くらいで終わりました。

もし、この時間よりももっとかかるのであれば、それは配列all_arrが大きくなりすぎてextendに時間がかかっているだけだと思いました。
all_arrを一括で持つ必要がない、つまり逐次的な処理ができたり、一つの変数にまとめる必要がなかったりするなら、pを分割してみたり、そもそもarr_1とarr_2をくっつけないで処理する方法を検討してみてはいかがでしょうか。

この配列をどのように使用するのかが分かればもう少し建設的な意見が言えるかもですので、もし解決しないようであれば、ご検討ください。