dfの1列にカンマ区切りで入ってる値をカウントして列として追加する方法

Question

##やりたいこと

A列のようなデータの入り方をしている列があり、ここにはカンマ区切りでいくつかのデータが入っています。
このA列に含まれることになるデータはリストが存在しており、このリストは増えたり減ったりする可能性があります。

①リストのデータを転置して、データ一覧の横に並べて列にする
②データ一覧の中身について、B列の列名と一致するものがいくつあるか数えて、B列のその行に数値を格納
（②の処理をB~最後の列まで実行）

##やってみたこと

df2 = pd.DataFrame(columns=item_list)
df3 = pd.concat([df1,df2])
for i in range(len(df)):
  for c in (df3[item_list]):
    arr = df1.loc[i,'データ一覧']
    n = arr.count(c)
    df3.loc[i,c] = n

困っていること

「あお1」と「あお」など部分一致してしまう値が存在しているからなのか、データ一覧に「あお1」がある場合、「あお」と「あお1」の両方に1とカウントされて入ってしまっているデータがあります。
完全一致の値のみを取り出してカウントするにはどのようにしたらよいでしょうか？

Answer 1

import pandas as pd
import re

item_list = [
  'あお', 'あか', 'きいろ', 'もも', 'あお2', 'もも1'
]

df = pd.DataFrame({
  'データ一覧': [
    'あお', 'あか,きいろ', 'あお,もも1', 'きいろ,あお2',
    'もも1,あか,あお2', 'きいろ,きいろ,あお2',
  ],
})

df[item_list] = [
  [
    re.subn(fr'(^|(?<=,))\s*{p}\s*(?=(,|$))', '', df.loc[r, 'データ一覧'])[1]
    for p in item_list
  ]
  for r in range(len(df))
]

pd.set_option('display.unicode.east_asian_width', True)
print(df)

#
            データ一覧  あお  あか  きいろ  もも  あお2  もも1
0                 あお     1     0       0     0      0      0
1          あか,きいろ     0     1       1     0      0      0
2           あお,もも1     1     0       0     0      0      1
3         きいろ,あお2     0     0       1     0      1      0
4     もも1,あか,あお2     0     1       0     0      1      1
5  きいろ,きいろ,あお2     0     0       2     0      1      0

Comments

[_publicnkm]

回答有り難うございます！
例に挙げた値以外を増やしたときに想定通りに動きませんでした。

import pandas as pd
import re

item_list = [
'あお2', 'あか', 'きいろ', 'もも', 'あお', 'もも1','小学1','新小学1'
]

df = pd.DataFrame({
'データ一覧': [
'あお', 'あか,きいろ', 'あお,もも1', 'きいろ,あお2',
'もも1,あか,あお2', 'きいろ,きいろ,あお2','新小学1,もも'
],
})

df[item_list] = [
[
re.subn(fr'{p}(,|$)', '', df.loc[r, 'データ一覧'])[1]
for p in item_list
]
for r in range(len(df))
]

pd.set_option('display.unicode.east_asian_width', True)
print(df)

データ一覧 あお2 あか きいろ もも あお もも1 小学1 新小学1
0 あお 0 0 0 0 1 0 0 0
1 あか,きいろ 0 1 1 0 0 0 0 0
2 あお,もも1 0 0 0 0 1 1 0 0
3 きいろ,あお2 1 0 1 0 0 0 0 0
4 もも1,あか,あお2 1 1 0 0 0 1 0 0
5 きいろ,きいろ,あお2 1 0 2 0 0 0 0 0
6 新小学1,もも　　　 0 0 0 1 0 0 1 1

リストに「新小学1」「小学1」が存在し、データに「新小学１」があるとき、小学１の列は０、新小学１の列は１にしたいのですが、どちらにも１が入ってしまいます。
なぜ「あお」と「あお２」は区別出来るのに、これらの文字列だと区別できなくなってしまうのでしょうか？

[melian]

変更した回答で試していただけますか？

[_publicnkm]

ありがとうございます！変更後のコードを使わせていただいて、想定通りの結果が得られました！！ほんとうにありがとうございます！

Answer 2

行や列の順番が変わって良いなら以下です。

>>> print(df)
            データ一覧
0                 あお
1          あか,きいろ
2           あお,もも1
3         きいろ,あお2
4     もも1,あか,あお2
5  きいろ,きいろ,あお2
>>> df['データ'] = df['データ一覧'].apply(lambda s: s.split(','))
>>> pd.get_dummies(df.explode('データ'), columns=['データ'], prefix='', prefix_sep='').groupby('データ一覧').sum().reset_index()
            データ一覧  あお  あお2  あか  きいろ  もも1
0                 あお     1      0     0       0      0
1           あお,もも1     1      0     0       0      1
2          あか,きいろ     0      0     1       1      0
3         きいろ,あお2     0      1     0       1      0
4  きいろ,きいろ,あお2     0      1     0       2      0
5     もも1,あか,あお2     0      1     1       0      1

Comments

[_publicnkm]

回答有り難うございます。
最後のgroupbyの処理をしたところ、最初に持っていた行数より若干減ってしまいました。
あまり必要なさそうだと思ったので記載していなかったのですが、最初に質問に記載した内容にプラスで「ユーザID」と「時間」の列を持っています（ユーザIDはNullの行もいくつかありますが、「時間」についてはNot Nullです）、groupbyの対象の列にそれらも加えたのですが、行数が減ってしまいました。やりたい処理にかなり近いものの、なんらかの要因で集計されてしまってデータが減ってしまうと意味がないので、列名と完全一致するものがいくつあるのか？を1行ずつ1列ずつ確実に処理できないものでしょうか？

Answer 3

とりあえず以下のようなコードで最初のデータのみで欲しい結果は得られます。
もし次に提示されたリストに含まれる列のみ欲しければ、その列だけ抽出すればよいです。
参考：Pandas convert a column of list to dummies

data = [['Blue'],['Red','Yellow'],['Blue','Pink1'],['Yellow','Blue2'],['Pink1','Red','Blue2'],['Yellow','Yellow','Blue2']]
df2 = pd.DataFrame({'data_list':data})
df3 = pd.get_dummies(df2['data_list'].apply(pd.Series).stack()).sum(level=0)
df = pd.concat([df2,df3], axis=1)
print(df)
"""
                 data_list  Blue  Blue2  Pink1  Red  Yellow
0                   [Blue]     1      0      0    0       0
1            [Red, Yellow]     0      0      0    1       1
2            [Blue, Pink1]     1      0      1    0       0
3          [Yellow, Blue2]     0      1      0    0       1
4      [Pink1, Red, Blue2]     0      1      1    1       0
5  [Yellow, Yellow, Blue2]     0      1      0    0       2
"""