dataframe形式のファイルで、あるカラムに出現する要素毎の回数を確認して、その回数を新しいカラムに入れたいです

Question

import pandas as pd
import collections

df = pd.DataFrame({"ID":["a", "a", "b", "c", "d", "c", "b", "a", "d", "e", "a", "a", "b"],
"date": [2010,2011,2012,2013,2014,2015,2016, 2017, 2018, 2019, 2020,2021,2022]})

collects = collections.Counter(df["ID"])

# dfに新しく"出現回数"というカラムをもうける
df["出現回数"] = 0 #最初は0にしておく。ここに各要素の出現回数をいれていきたい

values, counts = zip(collects) # ここのvalues, countsをdfの一番上から、それぞれ"ID", "出現回数"のカラムにいれたい

# 参考：https://note.nkmk.me/python-collections-counter/

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-50-8616ac2a74f3> in <module>
      9 df["出現回数"] = 0 #最初は0にしておく。ここに各要素の出現回数をいれていきたい
     10 
---> 11 values, counts = zip(collects) # ここのvalues, countsをdfの一番上から、それぞれ"ID", "出現回数"のカラムにいれたい
     12 
     13 # 参考：https://note.nkmk.me/python-collections-counter/

ValueError: too many values to unpack (expected 2)

上記の様なdfの"ID"という列における要素毎の出現回数をカウントし、それを新しいカラム"出現回数"に戻したいと考えていますが、上記の様なerrorが出現してしまいます。

すみませんが、おわかりになる方ご回答頂けますと幸いです。

Answer 1

values, counts = zip(collects)

の行で行いたいことは

values, counts = collects.keys(), collects.values()
print(values)
#dict_keys(['a', 'b', 'c', 'd', 'e'])
print(counts)
#dict_values([5, 3, 2, 2, 1])

ではないでしょうか。
collects は dict型なので、 .keys() でキーのリストが、 .values() で値のリストを得ることができます。

が。。。。

今回行いたい処理は、上記のようにcollectionsをつかって処理をする必要は全く無く、pandas の機能で簡単に実現することができます。

# IDの値毎に数を数えて、出現回数列に入れる
df["出現回数"] = df.groupby('ID').transform('count')
print(df)
#   ID  date  出現回数
#0   a  2010     5
#1   a  2011     5
#2   b  2012     3
#3   c  2013     2
#4   d  2014     2
#5   c  2015     2
#6   b  2016     3
#7   a  2017     5
#8   d  2018     2
#9   e  2019     1
#10  a  2020     5
#11  a  2021     5

Comments

[pickle]

> machichanさん
いつも丁寧に回答をありがとうございますm(_ _)m

df.groupby("A").transform("count")、でそのように処理ができるのですね。勉強になりました。
この処理で行いたい作業ができました！

ただ、一つ疑問があります。
```python
print(collects.most_common())
# [('a', 5), ('b', 3), ('c', 2), ('d', 2), ('e', 1)]
```
とこれ自体ではerrorにならないのに、
```python
values, counts = zip(collects.most_common())
print(values)
print(counts)

---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-25-5a8f067a1e2e> in <module>
----> 1 values, counts = zip(collects.most_common())
2 print(values)
3 print(counts)

ValueError: too many values to unpack (expected 2)
```

とzip関数で処理をすると上記の様なerrorが出現してしまうのはなぜでしょうか？

[magichan]

zip の引数として２つ以上のリストデータを渡す必要があるのはご存知かと思いますが
zip(collects.most_common())
の場合、zip の引数は１つのリストデータ [('a', 5), ('b', 3), ('c', 2), ('d', 2), ('e', 1)] となります。← エラーの原因
でも実際行いたいことは、５つのリストデータを引数として渡すことかと思いますので、アンパックして
values, counts = zip(*collects.most_common())
となるかと思います。

[pickle]

> magichanさん
ご回答ありがとうございます。
アスタリスクによるunpackを知りませんでした。
アスタリスクとzipの組み合わせでのunpack、それ程使用する頻度は高くはなさそうですが、こういった形で使用すると勉強になりました。

いつもありがとうございます、助かってますm(_ _)m
今後ともお願い致します。