Pandasを用いて、日付をもとにした集計を行いたい

Question

Pandasを用いて、日付をもとにした集計を行いたいです。

例えば、以下のような表があったとします。

   date       value
0: 20211010   "A", "B", "C"
1: 20211011   "A", "C"
2: 20211012   "D", "E", "F"

出力したい形式としては、

   date      "A" "B" "C" "D" "E" "F"
0: 20211010   1   1   1   0   0   0
1: 20211011   1   0   1   0   0   0
2: 20211012   0   0   0   1   1   1

ポイントとしては、各列の値の出現頻度、列は文字の種類数の分の行列を作りたいです。

特に、文字の種類数の分の列を作るのに苦戦しており、良いアイデアがあれば教えていただきたいです。

Answer 1

ポイントとなる部分にはpandas.get_dummiesが使えます。

import pandas as pd

df = pd.DataFrame({'date':[10,11,12], 'value':[list('ABC'),list('AC'),list('DEF')]})
print(df)
#   date      value
#0    10  [A, B, C]
#1    11     [A, C]
#2    12  [D, E, F]

# valueをばらしてOneHot化して再グループ化
df = df.explode('value').reset_index(drop=True)
df = pd.get_dummies(df, columns=['value'], prefix='', prefix_sep='')
df = df.groupby(['date'], as_index=False).sum()
print(df)
#   date  A  B  C  D  E  F
#0    10  1  1  1  0  0  0
#1    11  1  0  1  0  0  0
#2    12  0  0  0  1  1  1

Comments

[ren990902]

ありがとうございます。試してみます。

Answer 2

元のDataFrameの形がきれいではないので、前処理をしてdf2の形に整形します。
print(df)

>>> print(df)
       date          value
0  20211010  "A", "B", "C"
1  20211011       "A", "C"
2  20211012  "D", "E", "F"
>>>
>>> slist = []
>>> for i, row in df.iterrows():
...     for v in row['value'].split(', '):
...         s = row.copy()
...         s['value'] = v
...         slist.append(s)
...
>>> df2 = pd.concat(slist, axis=1).T.reset_index(drop=True)
>>> print(df2)
       date value
0  20211010   "A"
1  20211010   "B"
2  20211010   "C"
3  20211011   "A"
4  20211011   "C"
5  20211012   "D"
6  20211012   "E"
7  20211012   "F"

df2に対してget_dummiesを使って0か1の列にします。

>>> df3 = pd.get_dummies(df2, columns=['value'],prefix='', prefix_sep='')
>>> print(df3)
       date  "A"  "B"  "C"  "D"  "E"  "F"
0  20211010    1    0    0    0    0    0
1  20211010    0    1    0    0    0    0
2  20211010    0    0    1    0    0    0
3  20211011    1    0    0    0    0    0
4  20211011    0    0    1    0    0    0
5  20211012    0    0    0    1    0    0
6  20211012    0    0    0    0    1    0
7  20211012    0    0    0    0    0    1

df3に対してgroupbyを使って日付付けごとの合計を取ります。

>>> df4 = df3.groupby('date').sum().reset_index()
>>> print(df4)
       date  "A"  "B"  "C"  "D"  "E"  "F"
0  20211010    1    1    1    0    0    0
1  20211011    1    0    1    0    0    0
2  20211012    0    0    0    1    1    1

詳しいことが知りたければ、以下をお読みください。

pandas.DataFrame, Seriesを連結するconcat
pandas.DataFrame, Seriesのインデックスを振り直すreset_index
pandasでカテゴリ変数をダミー変数に変換（get_dummies）
pandas.DataFrameをGroupByでグルーピングし統計量を算出

Comments

[ren990902]

ありがとうございます。試してみます。