行列（ベクトル）計算を高速に行うには（python）

Question

行列（ベクトル）計算を高速化したいです

以下のようなプログラムを仮定します

import numpy as np
import math
import random

m = 5
v = ["a","b","c"]
V = ["a","b","c","d","e"]
a = [random.random() for _ in range(len(V))]
b = [[random.random() for _ in range(len(V))] for _ in range(m)]


sol = []

def func(a,bz,c,d):
    return math.exp(c+d) / (sum([math.exp(aa + bb) for aa, bb in zip(a, bz)]))

for z in range(m):
    sol.append(np.prod([func(a, b[z], a[V.index(w)], b[z][V.index(w)]) for w in v]))

これをさらに速くする書き方ありますか？

Comments

[tiitoi]

zip(a, b) で a と b の次元数が異なると min(n, m) 次元数分しかループが回らない気がするのですが、それでいいのでしょうか？あと c, d はどのような配列ですか？
動くコードを記載してください。

[kohekoh]

すみません．更新しました．ちなみに次元数は同じです

[tiitoi]

sum や exp は numpy なのか標準ライブラリの math モジュールなのか、どちらでしょうか？
それによって意味が変わってきます。提示されたコードでは動かないです。

[kohekoh]

mathを使っています

[tiitoi]

a → n×1ベクトル, b → n×mベクトル とのことなので、aa はスカラー、bb は形状 (m,) の配列になり、aa + bb の結果も(m,) の配列になりますよね？math.exp() の引数はスカラーしか対応してないので、配列を引数にはとれないと思いますが。実際、提示されたコードだとエラーがでて動かないです。

[kohekoh]

すみません．若干コードを変更しました．bbもスカラーになるはずです

[can110]

実際に動作するコードを提示されないと回答は難しいと思われます。

[kohekoh]

一応動くはずなのですが，一般化の途中で間違えているのでしょうか…

[can110]

提示コードをコピペし実行するとエラーになります。最低限動作するコードを提示くださいということです。

[kohekoh]

これで動くと思います．よろしくお願いします

Answer 1

数値計算目的でのループは Python ではかなり遅くなってしまうのでおすすめできません。
numpy で使えばループを使う必要性は基本的に排除できます。

質問欄記載のコード

import numpy as np
import math
import random

m = 5
v = ["a","b","c"]
V = ["a","b","c","d","e"]
a = np.random.random((len(V)))
b = np.random.random((m, len(V)))

# 質問欄記載のコード
######################################################
def func(a,bz,c,d):
    return math.exp(c+d) / (sum([math.exp(aa + bb) for aa, bb in zip(a, bz)]))

sol = []
for z in range(m):
    sol.append(np.prod([func(a, b[z], a[V.index(w)], b[z][V.index(w)]) for w in v]))

質問欄記載のコードを numpy で書き直した例

なにを計算しているのかよくわかりませんが、numpy で全部置き換えると以下のようになります。
V.index(w) は毎回リスト V から w の要素を検索することになり、遅くなってしまうので、最初に一回だけ調べてインデックスの対応表を作っておきましょう。

# すべて numpy の演算で書き直したコード
######################################################
indices = [V.index(w) for w in v]  # 最初に v が V のどのインデックスにあるかという対応表を作っておく

sol2 = np.exp(a[indices] + b[:, indices]) /  np.sum(np.exp(a + b), axis=1)[:, None]
sol2 = np.prod(sol2, axis=1)

# numpy の計算結果がもとの計算値と一致するか
######################################################
print(np.allclose(sol, sol2))  # True

10000 回同じ処理を行った際の計算時間

質問欄のコード 0.84 秒
numpy 0.20 秒

Comments

[kohekoh]

numpy.expやnumpy.sumを使ったほうが一気に計算ができるといった感じでしょうか
だいぶ時間の短縮ができました．ありがとうございます

Answer 2

numpyというライブラリがあります。
numpy
C++で書かれているので高速です。