特定の列の出現率を各列集計する

Question

例えば以下のようなpandas.DataFrameの表がある場合に
df
|state|a|b|c|
| ---- | ---- |
|0|0|0|1|
|0|0|1|1|
|1|0|1|1|
|1|1|1|0|

以下のようにa,b,cの0,1ごとのstate=1の出現率を計算させたいです。
||0|1|
| ---- | ---- |
|a|0.33|1|
|b|0|0.67|
|c|1|0.33|

やったこと

df.groupby('state').apply(lambda d: d.sum())

これだとstateの0,1ごとに各列の1の出現率となり、やりたいことと違うのはわかるのですが、
そのあとどうすればいいかわかりません

環境

Python 3.8.5
Pandas 1.1.3

Answer 1

np.bincount()を使ってはどうでしょうか。

df
#    state  a  b  c
# 0      0  0  0  1
# 1      0  0  1  1
# 2      1  0  1  1
# 3      1  1  1  0


def weight_mean(arr, weights):
    return np.bincount(arr, weights=weights) / np.bincount(arr)

df[['a', 'b', 'c']].apply(weight_mean, weights=df['state']).T
#           0         1
# a  0.333333  1.000000
# b  0.000000  0.666667
# c  1.000000  0.333333

Comments

[midsum0323]

ありがとうございます。解決しました。

[jeanbiego]

>kirara0048さん
素晴らしい。bincountという関数は知りませんでしたが、それ一つで0/1をカウントしつつ重み付けで平均もどきを取っちゃうのは巧みですね。

Answer 2

短く書こうとしてたら出遅れた。

import pandas as pd
import io

txt = """
state,a,b,c
0,0,0,1
0,0,1,1
1,0,1,1
1,1,1,0
"""

df = pd.read_csv(io.StringIO(txt))

cols = [x for x in df.columns if x != "state"]
df2 = pd.DataFrame([df.groupby(x)['state'].mean() for x in cols], index=cols)
print(df2)

          0         1
a  0.333333  1.000000
b  0.000000  0.666667
c  1.000000  0.333333

Comments

[midsum0323]

ありがとうございます。解決しました。

Answer 3

下記のような処理でしょうか。（前半はテストデータ作ってるだけなので、後半だけ見てください）

import io
import pandas as pd

data = """state	a	b	c
0	0	0	1
0	0	1	1
1	0	1	1
1	1	1	0"""

df = pd.read_table(io.StringIO(data), delimiter="\s+", index_col="state")


# ここから処理
df = df.reset_index()
print(df)
#    state  a  b  c
# 0      0  0  0  1
# 1      0  0  1  1
# 2      1  0  1  1
# 3      1  1  1  0
results = {}
for col in df.columns:
    if col == "state":
        continue
    ratio = df.groupby(col).mean()
    results[col] = ratio["state"]
df_results = pd.DataFrame(results)
print(df_results)
#           0         1
# a  0.333333  1.000000
# b  0.000000  0.666667
# c  1.000000  0.333333

Comments

[midsum0323]

できました！ありがとうございます。