以下のコードが遅いため、速くしたいです。

Question

###前提・実現したいこと
PythonのNumpyを使って、大型のテンソルを処理しようとしています。
下記のものが自分で書いたコードになりますが、
処理速度が遅いために、みなさんにより処理速度の速い書き方を教わりたいと思い、相談いたします。

行列を使ってやりたいことを以下に書きます。
xnという１００個のデータの集合の４次元のテンソルがあり、
xnの100個それぞれのデータに対してtnというラベルが対応して振られています。

tnは０〜９までの数がランダムに100個入っており、含まれてない数もあれば、重複している数もあります。

# **tnとpyは０〜９までの数がランダムに100個入っており、含まれてない数もあれば、重複している数もあります。**
tn -> [9, 2, 1, 5,...i..1]
xn -> [[[[0.1, ..... 0.2], [...]], [[...], [...]]], [[[0.1, ..... 0.2], [...]], [[...], [...]]]]
py -> [1, 3, 8, 2,...i..3]

また、pyというtnと同じ１００次元のラベルのベクトルがあります。
そこで、pyに対して、tnとのラベルの値を基準として２つのラベルの対応を崩さない状態で状態で、
xnから(25, 250, 250)のテンソルをランダムにピックアップしたいのです。

この条件で自分が書いたコードが以下のものになります。

# versions: python=v3.6.1, numpy=v1.12.1

import numpy as np
xn = np.ndarray # xn.shape => (100, 25, 250, 250)
tn = np.ndarray # tn.shape => (100)
py = np.ndarray # py.shape => (100)

for n in range(50000):
    ansr = np.asarray([xn[np.random.choice(np.where(tn == y)[0], 1, replace=True)[0]] for y in py])

###解決したいこと、聞きたいこと。

上記ように処理を50,000回ほど繰り返す必要があるのですが、
上記のコードがボトルネックになっていて、処理速度がとても遅いです。

PythonのNumpyを使う前提で、上記のゴールを達成するできるだけ速いコードの書き方を提案してもらえないでしょうか。

どうぞよろしくお願いします。

###補足情報(言語/FW/ツール等のバージョンなど)

versions

• python=3.6.1
• numpy=1.12.1

Answer 1

訂正：ご指摘によりコードの間違いを訂正しました。
誤：ansr = np.asarray([xn[rd.choice(indices, replace=True)] for y in py])
正：ansr = np.asarray([xn[rd.choice(indices[y], replace=True)] for y in py])
一応速度を測りなおしたのでそれも反映しました。(割と変動するのであくまで参考値ですが)
ご指摘ありがとうございました。>mkgreiさん

---

素朴な点だけ・・・

ループの中で同じ計算を何度も繰り返せば効率は下がるので同一の式をループの外に移動させてはいかがですか？np.where(tn == y)[0]は何度も計算する必要はないので外に出せると思います。

またどのくらい違いがあるかわかりませんが、choiceの結果を1要素の一次元配列として取り出しその要素を取り出すぐらいなら最初からsize=Noneのままにしてはいかがでしょうか？

import numpy as np
from numpy import random as rd
import time

tn = rd.choice(10, 100, replace=True)
py = rd.choice(10, 100, replace=True)
xn = rd.choice(10, (100, 1, 1, 1), replace=True)

print('tn =', tn)
print('py =', py)

# オリジナル

def test1():
  for n in range(1000):
    ansr = np.asarray([xn[rd.choice(np.where(tn == y)[0], 1, replace=True)[0]] for y in py])

# ちょっと早くしてみた版

indices = [np.where(tn == y)[0] for y in range(0,10)]

def test2():
  for n in range(1000):
    ansr = np.asarray([xn[rd.choice(indices[y], replace=True)] for y in py])

def sw(f):
    t1 = time.time()
    f()
    t2 = time.time()
    et = t2 - t1
    print(f"elapsed: {et}")

sw(test1)
sw(test2)

==>
elapsed: 3.420769453048706
elapsed: 0.9050662517547607

---

Windows 10, AMD A10-7700K APU 3.4GHz
Python 3.6.0

---

以上はあくまで同じことを繰り返しやらされるPythonインタープリタの身になって考えてみた小手先のチューニングに類するものだと思いますので、ループ本体のアルゴリズムを見直した方が効果が高いとは思います。

なお、forループの中でやっていることに依存するかも知れませんが、単純に複数スレッド(複数プロセス)でやってみたらどうでしょうか。自分のPCは2コアしかないですが、4コアのプロセッサーのPCを使っていた当時、計算量が大きいものを8スレッド程度でやるとちょっと感動するぐらい早く感じた経験があります。数倍高速化ってのはあなどれない性能向上と思います。

Comments

[yumatsuoka]

KSwordOfHasteさん、回答ありがとうございました。
いつも何も考えずにループを書いているので、参考になりました。
"インタプリタの身になって考えてみる"を考えて見たいと思います。
また、アルゴリズムももう１度考えてみたいと思います。

ありがとうございました。

[yumatsuoka]

KSwordOfHasteさん、回答ありがとうございました。
いつも何も考えずにループを書いているので、参考になりました。
"インタプリタの身になって考えてみる"を考えて見たいと思います。
また、アルゴリズムももう１度考えてみたいと思います。

ありがとうございました。

[mkgrei]

勘違いかもしれませんが[y]が必要かもしれません。
ansr = np.asarray([xn[rd.choice(indices[y], replace=True)] for y in py])

[KSwordOfHaste]

mkgreiさんご指摘ありがとうございます。
おっしゃるとおりindices[y]としなければいけませんでした！
結果をちゃんと見ておくべきでした。申し訳ありません。
コードと測定しなおした結果を反映いたします。