【Python】グループの重複をカウントする

Question

実現したいこと

• 以下の左図のように、グループ（group）に属する人物（person）のリストがあります。
• 各グループ内の人物が重複する人数をカウントし、右図のようにまとめたいと思っています。

　　- AとBは「2」がどちらにも含まれているので、重複している人物が1人 → freq = 1
- AとDは「2」「3」がどちらにも含まれているので、重複している人物が2人 → freq = 2

• グループは約3,000、人物はのべ5万人あるデータを処理します。

試してみたこと

• グループの組み合わせを作成。
• グループの組み合わせを参照しながら、該当するグループの重複を数える方法がないかと悩んでします。

import pandas as pd
import itertools

data = pd.read_table("C:/Users/lisaco/data_0131.txt", encoding="utf-8")
dt = data[['group', 'person']]

u = dt['group'].unique()
comb = itertools.combinations(u,2)

name = ["group1", "group2"]
dtx = pd.DataFrame(comb, columns=name)

~~def func(x):
    df.groupby('comb')['b'].agg(lambda x: list(x)):~~
    
~~df['freq'] = df.apply(func, axis=1)~~

よろしくお願いします。

Comments

[y_waiwai]

どういう集計をする必要があるのか詳しく説明しよう

[bsdfan]

解決済みなので、コメントで。
もし、速度を求めるなら、group × person の 0, 1 テーブルを作って、行列積をとるのが簡単ですよ。

[退会済みユーザー]

「丸投げ」と言われ、これが噂に聞いているアレかと思いました。たぶんもう投稿しません。
以前は、この素人が作ったロジックを提示したこともありましたが、どうにもならない意味不明さだったのでしょう、回答ゼロでした。
シンプルにやりたいことだけ書いたほうが良いのかもしれないとか、詰まっているポイントが言葉にならないから質問しないほうがいいのかもしれないとか、悩みながら質問しました。

私のような素人は、調べるのに相応しい単語、説明するのに適した単語さえ持っていないことが多いです。
教えていただいて、調べるキッカケを頂き、pythonの考え方に気づけたので、一気に理解が進みました。
melianさんには心から感謝致します。

[退会済みユーザー]

bsdfanさん、ありがとうございます。
行列積、調べてみます。

[melian]

余談になりますが、Numpy による行列積(numpy.matmul)は int 型のデータ(numpy.ndarray)で実行すると BLAS を利用しませんのでご注意下さい。以下に挙げる回答では numpy.dot を取り上げていますが、numpy.matmul でも同様です。

https://stackoverflow.com/a/19839985

実際に、手元の環境でグループ数 3,000, 人物 50,000 で実行すると 10 分以上経過しても終わらず、dtype を numpy.float32 に変更してから実行すると1.2秒で終了します。ただ、行列積を実行するためのテーブルの作成に多少の時間が掛かりますので、回答した方法の 2 倍程度の高速化になっています。

[bsdfan]

@melianさん
ご指摘の通り、巨大な整数の行列での積は遅くなるんでした。今回のケースとかだとscipy.sparseを使うのが良いのかもしれない気がしてきました。
どれぐらい疎かによりますが、2倍よりは速くなるのでは。

[退会済みユーザー]

melianさん、bsdfanさん、ありがとうございます。
お二人の会話が高度で理解が追いつきませんが、研究させていただきます！
勉強になりました。ありがとうございます。

Answer 1

group × person のテーブルを作って、重複をカウントする方法です。
コメントで int の行列積は遅くなるという指摘があったので、scipy.sparse を使ってみました。

import pandas as pd
import numpy as np
from scipy.sparse import csr_matrix

# df = pd.read_csv(...)

group_uniq, group_idx = np.unique(df['group'], return_inverse=True)
person_uniq, person_idx = np.unique(df['person'], return_inverse=True)

group_person = csr_matrix(
    (np.ones(len(group_idx), dtype=int), (group_idx, person_idx)),
    shape=(len(group_uniq), len(person_uniq)))
freq = (group_person @ group_person.T).toarray()

# sparseを使わない場合
# group_person = np.zeros((len(group_uniq), len(person_uniq)))
# group_person[group_idx, person_idx] = 1
# freq = (group_person @ group_person.T).astype(int)

idx1, idx2 = np.triu_indices(len(group_uniq), 1)
dfx = pd.DataFrame({
    'group1': group_uniq[idx1],
    'group2': group_uniq[idx2],
    'freq': freq[idx1, idx2]  
})

google colab上で、group数 3,000, person数 50,000, df行数 約1,000,000 のデータを作ってみて試したところ、以下の時間でした。
sparseを使うのが有効そうです。
sparse使用 : 1.98秒
sparseなし : 25.5秒
ベストアンサー : 90.0秒
sparseなし(int) : 数分まっても終わらず

Comments

[退会済みユーザー]

bsdfanさん、ありがとうございます。
結構スパースなデータではないかと想像していますので、このようにご検討いただいて、大変感謝致します。
まだ速度まで考慮できるほど理解が追いつきませんが、きちんと理解できるようよくよく拝見します！

Answer 2

※ 重複のない組み合わせ(freq == 0)を merge で補完。

import pandas as pd
from itertools import combinations

df = pd.DataFrame({
  'group': [*['A']*4, *['B']*3, *['C']*5, *['D']*4],
  'person': [1, 2, 3, 4, 2, 5, 6, 4, 7, 8, 9, 10, 2, 3, 7, 12],
})

dfx = df.groupby('person')['group']\
        .apply(lambda g: [*combinations(g, 2)])\
        .explode().value_counts().sort_index().to_frame('freq')
comb = pd.DataFrame(index=[*combinations(df['group'].unique(), 2)])
dfx = pd.merge(comb, dfx, left_index=True, right_index=True, how='left')\
        .fillna(0, downcast='infer')
dfx = pd.DataFrame(dfx['freq'], index=pd.MultiIndex.from_tuples(dfx.index))\
        .rename_axis(['group1', 'group2']).reset_index()

print(dfx)

group1	group2	freq
A	B	1
A	C	1
A	D	2
B	C	0
B	D	1
C	D	1

Comments

[退会済みユーザー]

melianさん、ありがとうございました。
mergeですね！
from itertools import combinations　ここから違う。
df.groupby('person')['group'].apply(lambda g: [*combinations(g, 2)])\
.explode().value_counts().sort_index().to_frame('freq')
groupby ～～ apply(lambda～～ はこう使うんですね。「.」で繋いでいく・・勉強になります。
melianさんが教えてくださった内容、分解してモノにします！

「丸投げ」と言われ、これが噂に聞いているアレかと思いました。たぶんもう投稿しません。
以前は、この素人が作ったロジックを提示したこともありましたが、どうにもならない意味不明さだったのでしょう、回答ゼロでした。
シンプルにやりたいことだけ書いたほうが良いのかもしれないとか、詰まっているポイントが言葉にならないから質問しないほうがいいのかもしれないとか、悩みながら質問しました。

私のような素人は、調べるのに相応しい単語、説明するのに適した単語さえ持っていないことが多いです。
教えていただいて、調べるキッカケを頂き、pythonの考え方に気づけたので、一気に理解が進みました。
ありがとうございました。心から感謝致します。

Answer 3

どのようなスクリプト～

1. 人物毎に、属するグループのリストを求めます。
2. 人物毎に、属するグループのリストから、それらの２つの組み合わせの組を列挙します。
3. 2で求めた組毎の個数を求めます。

以上を求めるようなスクリプトを書けばよいと思います。