any()が遅いのは書き方が悪いため?

素数判定の関数で、小さい素数の倍数かを判定するためにif n % 2 == 0 or n % 3 == 0 or n % 5 == 0 or n % 7 == 0 or n % 11 == 0:と書いていたのをsmall_primes = {2, 3, 5, 7, 11}; if any(n % p == 0 for p in small_primes):に変えたところ、倍近く時間がかかるようになりました。
small_primesと変数を置かずにin [2, 3, 5, 7, 11]としても遅いままです。
any()は短絡評価だからそう遅くはならないと思っていたのですが、これは私の書き方が悪いのでしょうか?

Python
1def is_prime_miller_rabin(n: int) -> bool:
2    if n < 2:
3        return False
4    elif n in {2, 3, 5, 7, 11}:
5        return True
6    elif n % 2 == 0 or n % 3 == 0 or n % 5 == 0 or n % 7 == 0 or n % 11 == 0:
7        return False
8    # 以下に書き換えると遅くなる
9    # small_primes = {2, 3, 5, 7, 11}
10    # if n < 2:
11    #     return False
12    # elif n in small_primes:
13    #     return True
14    # elif any(n % p == 0 for p in small_primes):
15    #     return False
16
17    if n < (1 << 32):
18        L = [2, 7, 61]
19    elif n < (1 << 48):
20        L = [2, 3, 5, 7, 11, 13, 17]
21    else:
22        L = [2, 3, 5, 7, 11, 13, 17, 19, 23, 29]
23
24    d = n - 1
25    d = d // (d & -d)
26
27    for a in L:
28        y = pow(a, d, n)
29        if y == 1:
30            continue
31        t = d
32        while y != n - 1:
33            y = (y * y) % n
34            if y == 1 or t == n - 1:
35                return False
36            t <<= 1
37    return True
38