Pythonで違う要素数の複数の配列から同じ確率で値をランダムに取り出す方法

Question

Pythonで、

[
 {
 a:[1,2,3]
},
{
 a:[4,5,6,7,8]
}
]

のような配列があったとして、
2つ以上の複数のaの配列からランダムに同じ確率で値を取り出したいのですが、どうすれば良いでしょうか？
実際の配列はかなり長いので、新しく配列を作り直すのは出来ればやりたくないです。
現在はrandom.choice()を2回使用していますが、これだと要素数が少ない配列の方が、が選出率が高くなってしまいます。
実際に使用している配列は要素数がもっと多いです。

Comments

[TakaiY]

「同じ確率で」というのはどういう意味ですか？

「新しく配列を作り直すのは出来ればやりたくない」というのも、どうしてそういうことになるのかわかりません。

[hugahuga]

現在random.choice()を2回使用しているのですが、これだと要素数が少ない配列が選出率が高くなってしまうので、
例の場合は1~8を同じ確率で取り出したいという意図で質問させて頂きました。

[hugahuga]

中身を1つの配列に纏めてからであれば同じ確率で値を取り出すことが出来ますが、実行に時間がかかってしまうためです。

[TakaiY]

回答はここに書かっずに、質問を編集したほうが、見てくれた人に伝わりやすくなります。

Answer 1

既に、回答がでてますが配列が３つ以上のケースです。
処理速度を上げるために、配列へのインデックスを作成しています。
v = arr[i]['a'][j]
のvが乱数rから取得した配列内の数値です。
不明点は補足してください。

import random
arr = [ { 'a':[1,2,3]},{ 'a':[4,5,6,7,8]},{ 'a':[9,10,11,12]},{ 'a':[13] },{ 'a':[14,15,16,17,18,19,20]}]

len_all = 0
lens = []
for i in range(len(arr)):
  len_all += len(arr[i]['a'])
  lens.append(len_all)

ctr = [ 0 ] * (len_all+1)
ix = [ None ] * len_all

for i in range(len_all):
  for j in range(len(lens)):
    if i < lens[j]:
      ix[i] = j
      break

for x in range(200000):
  r = random.randrange(len_all)
  i = ix[r]
  if i == 0:
    j = r
  else:
    j = r - lens[i-1]
  v = arr[i]['a'][j]
  ctr[v] += 1

print(ctr)

実行結果
[0, 9870, 10064, 10062, 9836, 10012, 10093, 10025, 9954, 10062, 10138, 10047, 10010, 10038, 9996, 9854, 9953, 9985, 10064, 9982, 9955]

Answer 2

import random
from collections import defaultdict

lst = [{'a': [1, 2, 3]}, {'a': [4, 5, 6, 7, 8]}]
N = 800000
counts = defaultdict(int)
weights = [len(d['a']) for d in lst]

for _ in range(N):
    i = random.choice(random.choices(lst, weights)[0]['a'])
    counts[i] += 1

print(dict(sorted(counts.items())))

#
{1: 99954, 2: 99716, 3: 100201, 4: 99556, 5: 100484, 6: 99676, 7: 100434, 8: 99979}

Answer 3

TakaiYさんのアルゴリズムを実装してみました。
０番目の配列の要素数は３
０番目の配列の要素数は５、したがって、合計＝８
０～７の乱数を発生させる
乱数の値が３未満なら、配列０番の[乱数]の値を取得
乱数の値が３以上なら、配列１番の[乱数-3]の値を取得

上記を８００００回実行し、取得した値の回数をカウントする。
１から８の数が取得されるが、各々の値が１００００回になれば、均一に取り出されていると判断して良い。
結果は、各々の値は、ほぼ１００００の値に近いので、ほぼ均一に取り出されていると判断して良い。

import random
arr = [ { 'a':[1,2,3]},{ 'a':[4,5,6,7,8]}]
len0 = len(arr[0]['a'])
lenA = len(arr[0]['a']) + len(arr[1]['a'])

ctr = [0,0,0,0,0,0,0,0,0]

for x in range(80000):
  r = random.randrange(lenA)
  if r < len0:
    i = 0
    j = r
  else:
    i = 1
    j = r - len0
  v = arr[i]['a'][j]
  #print(v)
  ctr[v] += 1

print(ctr)

実行結果
[0, 10035, 9985, 9927, 10151, 9974, 9999, 9956, 9973]

Comments

[hugahuga]

とてもわかりやすい解説ありがとうございます。
しかし、これは自分の書き方が悪かったのですが、実際は配列は2つ以上あるんです。
すみません。

[tatsu99]

配列が３つ以上のケースを回答にアップしました。考え方は基本的には２つのケースと同じです。

Answer 4

配列の合計数で乱数を発生させて、振り分ければよいのではないかと思います。
10000と20000 で、12700 であればあ、 12700 > 10000なので、というような具合。

Comments

[hugahuga]

すみません。数字の意味がよく分かりません。
簡単なコードを書いていただくことは可能でしょうか？

[TakaiY]

質問の例であれば
index = random.randrange(0, 3 + 5)
index が 2であれば、 最初の配列の3番目、 3であれば2つめの配列の0番目 という具合ですね。

[hugahuga]

やり方が分かりません。

[TakaiY]

ここはプログラムを作ってもらう場所ではありませんので、あとはご自分でお考えください。