結果がランダムに返ってくる関数のテスト方法

Question

前提・実現したいこと

結果がランダムに返ってくる関数のテスト方法を知りたい。
例えば、じゃんけんをするプログラムを書いた。
この関数は、1/3の確率でグーを返すはずだが、それをテストしたい。

import random
def janken():
    return random.choice(["グー", "チョキ", "パー"])

ただし、乱数そのものの質を確かめるためにテストをしたいのではなく、今後の改造で前後に処理を付け足しても、確率が1/3から変わらないことを確かめるためにテストをしたい。

こういった場合に広く使われている方法等があれば、ご教示お願いします。

考えたこと

二項分布に従うはずなので、n回試すと、標準偏差は√(2n) / 3になる。
グーが出た回数が、n/3 ± 2σ、つまり
n / 3 ± 2*(√(2n) / 3)
回の範囲でグーが出ていることを確かめれば、大きくは、ずれていないことが分かりそう。
ただし、以下の課題がある。

• このテストは確率的に失敗する
• 「もう一度動かしたら通ったからOK」で、ちゃんとテストできているのか疑問
• 確率がずれていても、偶然通ることもあるので、一体何をテストしているのかよく分からない
• また、似たようなテストが増えてきたら、高確率でどれかが失敗しそう
• nが増えるとテストに時間がかかるが、どれくらいを選ぶのが適当か分からない

乱数のシードを固定すると、コードを変えない限りは、確率的には変わらないようになるが、
やはり、偶然うまくいったシードを使ってるだけなのでは、という疑問は残る。

Answer 1

結局乱数の質を確かめるテストにしかならない、というはなしですね

Answer 2

前処理、乱数発生、後処理の三種類に分けてテストすればいいのではないかと思います。
例えば、後処理に引数としてグーを与えた場合、チョキを与えた場合、パーを与えた場合にそれぞれの結果は一意に決まるはずです。
そうなれば引数であるグー、チョキ、パーの確率にのみ結果は左右されます。
そこは三分の一とみなしていいのではないでしょうか。

Answer 3

大数の法則に従えば、確率は収束して行きます。

あとは許容精度の問題では？

0.334は1/3ではありませんが、その精度で許せるかどうかという話では？

import random
import numpy as np

def ch():
	l = [0,1,2]
	return random.choice(l)

ans = []
for i in range(1000):
	random.seed(i)
	n = 1000
	c = {0:0, 1:0, 2:0}
	for _ in range(n):
		c[ch()] += 1

	ans.append([v/n for k, v in c.items()])

ans = np.array(ans)
print(ans.mean(axis=0))
print(ans.std(axis=0))