pythonのプログラムの高速化

Question

pythonのプログラムなのですが、処理にかかる時間が長く困っています。改善策があれば教えてください。

m2 = np.empty((0,80))
for x in m:
                tmp = np.empty(0)
                tmp2 = np.empty(0)
                for y in x:
                    tmp2 = np.append(tmp2,y)
                    count += 1
                    if count == 100:
                        tmp=np.append(tmp,np.max(tmp2))
                        tmp2 = np.empty(0)
                        count = 0
                m2 = np.concatenate((m2,tmp.reshape(1, 80)),axis=0)

ちなみに、mは80x8000の配列です。
よろしくお願いします。

Answer 1

単なるアイデアですが、

ご質問のコードは8000要素の軸に対して100要素のグループごとに最大値を取り出しそれを80要素の配列の形の結果にし0軸目で連結して80x80の結果を得るというものだと思います。

最大値を求めるためだけに一時的な配列tmp2を生成している部分が性能を劣化させている要因に思えます。numpyのmaxは多次元の配列の特定の軸にそって最大値を求めるという能力を持っていますので、

(1) 80x8000->80x80x100にreshape
(2) 第2軸に沿ってmaxを求める

この２ステップで80x80で結果が求まり、元のコードより速いのではないかと思います。

追記：
numpyの実装はpythonの制御文で配列を生成したり１行ずつ連結したりを自前で記述するよりははるかに高速で動作するであろうということを想定しています。実際のpython処理系やnumpyの実装を詳しく知っているわけではないので単なるあて推量です。なお、reshapeは配列の形状を変更しますが、元の配列データは共用されるため二倍のメモリーを消費するわけではないと思います。つまりどんなに大きな配列でも配列の要素を一つ一つコピーしているわけではないと思うので、ほぼ一瞬でreshapeができると思います。（違ってたらすみません）

簡単な例を挙げます。

import numpy as np

m = np.array([[1,2, 3, 4], [5, 6, 7, 8]])
m2 = m.reshape(2, 2, 2)
print('-- after reshape --')
print(m2)
m3 = np.max(m2, axis=2)
print('-- after max --')
print(m3)

#--結果--
-- after reshape --
[[[1 2]
  [3 4]]

 [[5 6]
  [7 8]]]
-- after max --
[[2 4]
 [6 8]]

Answer 2

こんな感じでどうでしょうか？

import numpy as np

l = []
for i in range(0,m.shape[1],100):
    l.append(np.max(m[:, i:i+100], axis=1).reshape(80,1))
ret = np.hstack(l)
print(ret)

簡単に手順を説明すると

1. [8000x80]のサイズの行列を [100x80] のサイズに縦分割して 80回のループを回す。
2. 各行列毎に横軸方向(axis=1)の最大値を求める。（サイズ[80]のベクトルデータが得られます。）
3. 80個のベクトルデータを縦行列に変換して再合成

となります。

この方法だと、ループ回数・コピー回数共に激減するので、かなり高速になるのではないでしょうか。

補足として、 m のサイズ[8000x80] が固定ということであれば、

for i in range(0,m.shape[1],100):
    l.append(np.max(m[:, i:i+100], axis=1).reshape(80,1))

の部分は

for d in np.hsplit(m, 80):
    l.append((np.max(d, axis=1)).reshape(80,1))

と更にシンプルに書けます。（速度は不明）

最後にこれをワンライナーで書くとこんな感じ。（完全に蛇足）

ret = np.hstack([np.max(d, axis=1).reshape(80,1) for d in np.hsplit(m, 80)])