pandasに入った配列内の文字列カウント方法に関して

Question

pandasの中に配列を入れたのですが、その配列内の文字列を対象に操作をしたいです。

ループ文を使えば簡単に実現できるとは思いますが、pandasに格納した意味が薄れてしまうので、pandasの関数を組み合わせて、キレイに実行する方法を探しております。
もしご存知でしたら教えていただきたいです。

行いたい操作をデータ例を交えて下記に説明します。

#データ例
データは下記のようなデータです。
（Z列は、チェックボックスからのデータを格納したものであり、同じ文字列が同じ配列内に2つ登場することはありません。）

>>> df.keys()
Index(['X', 'Y', 'Z'],
      dtype='object')
>>> df
     X    Y        Z
0    5    0    [A, B]
1   10    1       [C]
3   30    1       [A]
4   25    2 [A, B, C]
5   15    0        []
[5 rows x 3 columns]

#実行したい操作
① 列Zの配列の文字数の出現数カウント（出現行数カウント）

A 3
B 2
C 2

② 列Zの配列内の文字列Aでフィルターしたdf_A
pandas型にできれば更にあとは自分で細かい操作ができるのでありがたいです。

>>> df_A
     X    Y        Z
0    5    0    [A, B]
1   30    1       [A]
2   25    2 [A, B, C]
[3 rows x 3 columns]

③ 列Zの配列の文字列ごとのグループ集計

A 60 3
B 30 2
C 35 3

Answer 1

df.Z.apply(pd.Series)
することで Z列のリストをDataFrameに展開、
さらにはdf.Z.apply(pd.Series).stack()
することで１次元化することができるかと思いますので、前処理としてこの Seriesデータと元のデータフレームを結合しておくことで、(1)～(3)の処理を簡単に実現できるかと思います。

import pandas as pd
import json
import io

data = """
X	Y	Z
5	0	["A","B"]
10	1	["C"]
30	1	["A"]
25	2	["A","B","C"]
15	0	[]
"""
df = pd.read_csv(io.StringIO(data), sep='\t', converters={'Z':json.loads})
#    X  Y          Z
#0   5  0     [A, B]
#1  10  1        [C]
#2  30  1        [A]
#3  25  2  [A, B, C]
#4  15  0         []


tmp = df.Z.apply(pd.Series).stack().reset_index(level=1, drop=True).rename('Z')
df = df.loc[:,['X','Y']].join(tmp).reset_index(drop=True)
print(df)
#    X  Y    Z
#0   5  0    A
#1   5  0    B
#2  10  1    C
#3  30  1    A
#4  25  2    A
#5  25  2    B
#6  25  2    C
#7  15  0  NaN


# (1) 列Zの配列の文字数の出現数カウント（出現行数カウント）
print(df['Z'].value_counts())
#A    3
#C    2
#B    2
#dtype: int64

# (2) 列Zの配列内の文字列Aでフィルター
print(df[df.Z == 'A'])
#    X  Y  Z
#0   5  0  A
#3  30  1  A
#4  25  2  A

# (3) 列Zの配列の文字列ごとのグループ集計
print(df.groupby('Z').sum())
#    X  Y
#Z
#A  60  3
#B  30  2
#C  35  3

Comments

[JIN3X]

ご教授いただきありがとうございます。
大変勉強になりました。