データ生成したあと互いのデータを関連付ける為に相関係数を使用したい

Question

データ生成したあと互いのデータを関連付ける為に相関係数を使用したい
下記　分布より samplesとsamples2には相関係数０．５の関係があります。それぞれのデータを相関係数より関連付けるにはどうすれば宜しいでしょうか？
一つは各種ソートかけるほうほうがあると思います。　さらに本問題はsamples3....samples12まであり各種　0.3 0.5-0.2等　バラバラです。　各種,mean とsdはわかっています。

import scipy.stats
lower = 0
upper = 39
mu = 8.563
sigma = 6
N = 200

samples = scipy.stats.truncnorm.rvs(
(lower-mu)/sigma,(upper-mu)/sigma,loc=mu,scale=sigma,size=N)

lower2 = 0
upper2 = 12
mu2 = 3
sigma2 = 9
N = 200

samples2 = scipy.stats.truncnorm.rvs(
(lower-mu)/sigma,(upper-mu)/sigma,loc=mu,scale=sigma,size=N)

print(samples)

Comments

[Penpen7]

学校の課題ですか？

[disuke]

違います。
個人でデータ解析をしており
擬似データ作成を考えております。

[Penpen7]

相関係数より関連付けるという意味を詳しく知りたいのですが、
1. 相関係数が0.5となるようなデータを作りたい
2. データから相関係数を計算した結果0.5となるはずだ
上の二つのうちご質問はどちらに当てはまりますでしょうか？
もしくは、もっと違うことを意図していますか？

[disuke]

回答して頂きありがとうございます。
2ですね。
そして各平均と偏差はわかっておりその分布から、擬似データは作成されます。
それぞれのデータを関連付けたいです。
例えば身長190の人が体重30キロなんていうのはありない90ぐらいのデータとひもづけるのが妥当　　ただ、ここでは生年月日なども紐付けます。　　つまり身長190 175 150 体重90 60 40というデータが個々にあったら相関係数より、紐付けは大体できるはず

[Penpen7]

つまり、samplesとsamples2の２つの1変数データ1つ1つに対し、適切にペアを構成することによって、相関係数が0.5(に出来るだけ近い)2変数データを作りたいという意味ですかね？

[disuke]

ありがとうございます。
仰る通りです。
厳密には１３変数まで拡充させていくつもりです。

[Penpen7]

素直に実装するならば、順列全探索で0.5に最も近いペアを作れると思いますが、計算量が爆発的に増えるため、11個程度で数秒計算がかかってしまいます。もっと高速に計算したいなら、別のアルゴリズムを使うことになると思いますが、私には分からないです。

[8524ba23]

これまでのやりとりを踏まえて質問本文を修正すると回答得られやすいかと思います。
また、生成したデータ数、例でいうと人の数はどれほどでしょうか？

Answer 1

とりあえず素直に組んでみました。
それらしい結果は得られそうですが、３変数、サンプル数８（人）でも計算爆発してしまいます。

import numpy as np
import itertools

np.random.seed(seed=110) # 再現できるように

# 指定した平均、標準偏差をとるサンプルを返す
#
# Generate sample data with an exact Mean and Standard Deviation
# https://stackoverflow.com/questions/51515423/generate-sample-data-with-an-exact-mean-and-standard-deviation
def get_samples( num_samples, desired_mean, desired_std_dev):

    samples = np.random.normal(loc=0.0, scale=desired_std_dev, size=num_samples)

    actual_mean = np.mean(samples)
    actual_std = np.std(samples)

    zero_mean_samples = samples - (actual_mean)

    zero_mean_mean = np.mean(zero_mean_samples)
    zero_mean_std = np.std(zero_mean_samples)

    scaled_samples = zero_mean_samples * (desired_std_dev/zero_mean_std)
    scaled_mean = np.mean(scaled_samples)
    scaled_std = np.std(scaled_samples)

    final_samples = scaled_samples + desired_mean
    #print( np.mean(final_samples), np.std(final_samples))

    return final_samples

n_samples = 8

# ３組のサンプルで試す
samples = []
samples.append( get_samples(n_samples, 170.0, 20.0)) # 身長
samples.append( get_samples(n_samples,  60.0, 20.0)) # 体重
samples.append( get_samples(n_samples,  50.0, 10.0)) # とりあえず
samples = np.array(samples)

# 欲しい相関行列
desired_cc = np.array([
    [ 1.0, 0.5,-0.5],
    [ 0.5, 1.0, 0.0],
    [-0.5, 0.0, 1.0]])
desired_cc = np.triu(desired_cc, k=1)

# サンプルのすべての関連付けの組み合わせ
# たぶん重複（ムダ）あるような気がする
perms = [[samples[0]]] # 少なくとも１つは固定でよいはず
for i in range(1,samples.shape[0]):
    perms.append( itertools.permutations(samples[i]))
products = itertools.product(*perms)

min_diff = samples.shape[0] ** 2 # これを超えることはない
min_e = None
for e in products:
    current_cc = np.triu(np.corrcoef(e), k=1)

    # 相関係数の「誤差」
    diff_cc = np.sqrt(np.sum((current_cc - desired_cc)**2))

    if diff_cc < min_diff:
        print(current_cc)
        min_diff = diff_cc
        min_e = e

print('-----')
print(min_e)
print(np.triu(np.corrcoef(min_e), k=1))

実行結果

[[ 0.         -0.43142021  0.44972326]
 [ 0.          0.         -0.91284213]
 [ 0.          0.          0.        ]]
：
[[ 0.          0.45448142 -0.5021382 ]
 [ 0.          0.          0.00369999]
 [ 0.          0.          0.        ]]
：

Comments

[disuke]

ありがとうございます。
2000人を想定しています。

Answer 2

追記Q&Aを拝見しても何をなさりたいのかが分からないのですが

13変数がある
互いの相関係数が0.5（あるいはそれに近いもの）となるものを抽出する

ならば相関行列を作成（データ量に寄りますが13変数ならば特に問題ないかと）
c.f.
python/相関行列(correlation_matrix)

0.5に近いものを選べばよいと思います。

Comments

[disuke]

回答して頂きありがとうございます。

ならば相関行列を作成＞＞相関行列は作成しております

0.5に近いものを選べばよいと思います。＞＞どのようにすれば宜しいでしょうか？
例えば　相関係数０．５　身長mean170 sd20 　　体重mean60 sd20　この情報だけ与えられたとします。　randn　functionより　mean sdより下記データ作成　　どのように紐付けしますか？　直感的に　１９０と９０を紐付ければいいのですが
何かオススメのやり方があれば　
例えば　体重＝0.5*身長　　　で近似値リンクとかですか？このやり方はあまりスマートじゃないと思うので何か他のやり方があれば教えて頂きたいのですが

身長190 175 150 体重60 40 90

[aokikenichi]

相関係数0.5に近いものを選びたいとのご要望でしたので相関行列を作成し0.5に近いものを選ぶしかないと回答致しました。
相関係数で選びたいという要望に相関係数を算出なさっているのに平均や標準偏差を考慮する必要はないと思います。なぜ　体重＝0.5*身長　などが出てくるのか分かりません

相関行列の各セルの値と0.5の差の絶対値を出し、その最小値のペアで問題は解決致します。