グループ毎の特定の列の要素数を条件付きで数えたい ＆ グループ毎の特定の列の要素を文字列連結して新規列に代入したい

Question

はじめに

お世話になります。
Pandasで加工した下記のデータフレーム（以下DF）につきまして、求める要件2点があります。
実現方法についてお知恵をお貸しいただきたいです。

|品番|品名|部品|単価|生産数|
|:--|:--:|--:|--:|
|111|製品AAA|A|0.5|1,000|
|111|製品AAA|B2|0.5|1,000|
|111|製品AAA|C|0.5|1,000|
|111|製品AAA|ふくろ|0.5|1,000|
|111|製品AAA|箱|0.5|1,000|
|222|製品BBB|C|0.5|2,000|
|222|製品BBB|箱|0.5|2,000|
|333|製品CCC|A1|0.5|3,000|
|333|製品CCC|A2|0.5|3,000|
|333|製品CCC|箱|0.5|3,000|

やりたいこと

質問のタイトルが適切でないような気がして申し訳ないですが、やりたいことは下記の二つです。

要件1

上記のDFに新規列[部品項目数]という列を作り、商品毎の部品列の要素数のcountを出したいです。
これだけなら自分で解決できるのですが、下記の条件があります。

条件：部品列の"ふくろ"、"箱"という値に関してはカウントしない

商品毎に"ふくろ"だけがある商品、"箱"だけがある商品、両方ある、両方ない、パターンがあります。

要件2

商品毎の部品列の要素を文字列連結したいです。つまり商品Aであれば部品は["A","B2","C","ふくろ","箱"]がありますので、要件Aとおなじく"ふくろ","箱"は無視したそれ以外の値を、「"A,B2,C"」といったような形でひとつの文字列にし、そしてそれを新規列["部品一覧"]列に挿入したいです。

求める結果

つまり、下記のようなDFを取得したい、というのが目的になります。

|品番|品名|部品|単価|生産数|部品項目数|部品一覧
|:--|:--:|--:|--:|--:|
|111|製品AAA|A|0.5|1,000|3|A,B2,C
|222|製品BBB|C|0.5|2,000|1|C
|333|製品CCC|A1|0.5|3,000|2|A1,A2

解決のために実施したこと

品番の数だけ、行数を数えましたが、"ふくろ"、"箱"を無視する方法がわかりませんでした。

pivot_df = df.pivot_table(values="総生産数" ,index=['品番'],columns="部品",
    aggfunc="count" ,fill_value=0,dropna=False)

Answer 1

要件1は、予め部品列の値が'ふくろ','箱'の行を削除したデータフレームを作成しておくと良いかと思います。
要件２に関しては、groupby.apply() または groupby.agg()などを使い Seriesをtupleやlistに変換することで実現できます。

import pandas as pd
import io
data = """
品番,品名,部品,単価,生産数
111,製品AAA,A,0.5,1000
111,製品AAA,B2,0.5,1000
111,製品AAA,C,0.5,1000
111,製品AAA,ふくろ,0.5,1000
111,製品AAA,箱,0.5,1000
222,製品BBB,C,0.5,2000
222,製品BBB,箱,0.5,2000
333,製品CCC,A1,0.5,3000
333,製品CCC,A2,0.5,3000
333,製品CCC,箱,0.5,3000
"""

df = pd.read_csv(io.StringIO(data))
tmp = df[~df['部品'].isin(['箱', 'ふくろ'])]
res = tmp.groupby(['品番','品名']).agg({'単価':'first','生産数':'first','部品':['count',lambda d:tuple(d)]})
res.columns = ['単価','生産数','部品項目数','部品一覧']
print(res)
#            単価   生産数  部品項目数        部品一覧
#品番  品名                                 
#111 製品AAA  0.5  1000      3  (A, B2, C)
#222 製品BBB  0.5  2000      1        (C,)
#333 製品CCC  0.5  3000      2    (A1, A2)

---

【追記】

上記のコードを 先に groupby() してから agg() の中で "箱"と"ふくろ"を処理しないように修正してみます。

def conv_parts_to_tuple(d):
    return tuple(d[~d.isin(['箱', 'ふくろ'])])

def num_of_parts(d):
    return d[~d.isin(['箱', 'ふくろ'])].count()

res = df.groupby(['品番','品名']).agg(
    {
        '単価':'first',
        '生産数':'first',
        '部品': [ num_of_parts,
                  conv_parts_to_tuple,]
    })
res.columns = ['単価','生産数','部品項目数','部品一覧']

やっていることはほとんどど同じなのですが、 agg()内で２つのlambda(無名関数)を指定することが困難そうだったので、関数として切り出して処理しております。

"箱"と"ふくろ"の処理部が２つの関数に含まれて若干冗長な感じはあるのですが、この程度であればまあ個人的には問題ないかと思います。

ただ複数個の関数を切り出す必用があるのであれあ、apply()を使って１つの関数で処理したほうがシンプルになる気もしますね・・。

やってみます。

def fnc(row):
    tmp = row.loc[~row['部品'].isin(['箱', 'ふくろ']), '部品']
    return pd.Series(
        {
            '単価': row['単価'].iat[0],
            '生産数': row['生産数'].iat[0],
            '部品項目数': tmp.count(),
            '部品一覧': tuple(tmp)
        })

res = df.groupby(['品番','品名']).apply(fnc)
print(res)

apply()の場合は Series型のデータを返すことで列を構成します。

この方法であれば

• "箱"と"ふくろ"の処理部を共通化できる
• Column名を直に指定できるため変更の必要がない

のですこしシンプルになります。まあ、好みの問題ではありますが。。

Comments

[jojio]

magichan様
お世話になります。素晴らしいです。最高です。
groupby.apply()やgroupby.agg()は知りませんでしたので早速明日ﾄﾗｲしてみます！

そして大変申し訳ないのですが、お伝え忘れたこととして、
「予め部品列の値が'ふくろ','箱'の行を削除したデータフレームを作成する」という、こちらは一度試したのですが採用しませんでした。採用しない理由といたしましては、部品列の要素として"箱"あるいは"ふくろ"しか持たない商品が存在しまして、商品まるごとフィルタされてしまったからです。説明足らずですみません。

ですので、aggのラムダ関数のところで、['箱', 'ふくろ']と一致しない場合にcountし、Seriesをtupleやlistにappendすれば良いのでしょうか？
こちらで試してみて、うまくいかなければまた質問させていただく存じますのでもうしばらく質問をオープンにしておきたいと思います。何卒宜しくお願い致します。

[magichan]

「部品列の要素として"箱"あるいは"ふくろ"しか持たない商品が存在」
なるほど。その場合は '部品項目数'は "0" 、'部品一覧'は "()" で良いのでしょうかね。

とりあえず、その場合は 不要な行を削除してから``groupby()`` するのではなく、``groupby()`` してからその中で 不要な行を処理しないようにすることで対応できるかと思います。

[jojio]

お世話になります。確認遅くなりすみません。
素晴らしいです。どちらのコードも求める通りの結果を得ることができました。そしてapply関数の方がわかりやすかったのでそちらを使用することにいたしました。applyでシリーズを返す関数を呼ぶなんてことができるんですね。
わたしはpandasまだまだ勉強中で、抽出、並び替え、同じ値の一括代入、といった簡単なことしかできませんでしたので、これを使って色々出来そうなことが広がりそうでとても興奮しています・・！
大変助かりました。ありがとうございました。