python　for 分の高速化がしたいです…！

このコードを高速にしたいのですが、for文を使わずに書く書き方が分かりません。
numbaやcythonも試したのですが、全然ダメでした・・・
少しでも早くするにはどうやってコードを改良したらいいでしょうか。
ご教授よろしくお願いいたします。

def func1(N, n):
    a = np.sort(np.random.choice((np.arange(N)+1), size=n, replace=False))
    b = np.array([a[0]] + np.diff(a).tolist() + [N+1-a[-1]])
    b = b/(N+1)
    h = 1 + sum( np.log(b) * b ) / np.log( n + 1 )
    return h
def func2(N, M, n):
    H = []
    for m in nb.prange(M):
        h = func1(N = N, n = n)
        H.append(h)
    hhh = np.quantile(H, q = 1-0.05)
    return hhh

func2(10000, 20000, 100)

※実行に3.3秒ほどかかっています

8524ba23

2022/09/06 14:11

インデントがなくなっているのでコードはコードブロックで囲んでください。また、そのコードの意図（どういうことをやりたいか）を記載ください。

meg_

2022/09/06 14:14

コードは「コードの挿入」で記入してください。

jbpb0

2022/09/06 14:41

pythonのコードの一番最初の行のすぐ上に ```python だけの行を追加してくださいまた、pythonのコードの一番最後の行のすぐ下に ``` だけの行を追加してくださいまたは、 https://teratail.storage.googleapis.com/uploads/contributed_images/56957fe805d9d7befa7dba6a98676d2b.gif を見て、そのようにしてみてください現状、コードがとても読み辛いです質問にコードを載せる際に上記をやってくれたら、他人がコードを読みやすくなり、コードの実行による現象確認もやりやすくなるので、回答されやすくなります

Rika_Chan

2022/09/07 11:42

コードを書き直しました！見づらくて大変申し訳ありませんでした。これは経験分布から検定を行う為に使用しているコードの一部になります。この部分が遅くて改善しようとしていたのですが、どうにもうまくいきませんでした・・・よろしくお願いいたします。

meg_

2022/09/07 12:13 編集

コード中の「nb」とは何でしょうか？(numbaでしょうか？)

meg_

2022/09/07 12:17 編集

> ※実行に3.3秒ほどかかっています当方では0.2秒ほどでした。（Windows11、python 3.9）質問者さんのOS、マシンスペック等は何でしょうか？

Rika_Chan

2022/09/07 16:04

失礼いたしました。nbはnumbaです。マシンスペックはwindows11, python3.9, core i7-8700です。 vscodeのipynb形式で実行しています。実行して頂きありがとうございます。 0.2秒ですか…私のPCの何かが邪魔しているのでしょうか…

bsdfan

2022/09/08 05:58

numpy.random.choice() の replace=False は、大きな配列では遅くなるようです。 https://zenn.dev/ymd_h/articles/eea7e22ab95c9a こちらに書かれている numpy.random.Generator.choice() を試してみると、 3.9秒かかっていたのが1.2秒ぐらいまでは速くなりました。(google colabの無料環境)

tmp

2022/09/09 03:16

乱数生成に一番時間がかかっていると思いますが、そもそも、このプログラムがその乱数の性質を分析するものなら、「乱数を変えて」は、意味のない提案になってしまう。このプログラムのもとになっている仕様や目的が必要だと思います。そうすれば、私には無理そうですがもっと速いアルゴリズムを提案してくれる人もいるかもしれない。

行動規範の内容に同意します

回答1件

ベストアンサー

1次元の計算をforで繰り返すかわりに、最初に2次元のデータを作って、一括で計算するように書いてみました。
最初のchoiceする部分は、内包(for)を使って書くしかなさそうです。
手元の環境だと、元のものより1桁ぐらい速くなりました。

python
1def func3(N, M, n):
2    rng = np.random.default_rng()
3    a = np.array([rng.choice(N, n, replace=False) for _ in range(M)]) + 1
4    a.sort(axis=1)
5    b = np.diff(a, axis=1, prepend=0, append=N+1) / (N + 1)
6    h = 1 + np.sum(np.log(b) * b, axis=1) / np.log(n + 1)
7    hhh = np.quantile(h, q=1-0.05)
8    return hhh