python groupby countした値を追加し、新たなカラムを作りたい

Question

実現したいこと

chanelデータをもとに、webのみ、店頭のみ、どちらも利用 に分けた新たなカラム（main_channel）を作りたい。

試したこと

pandasのgroupby関数を使用して、どうにか加工できないか模索している状況です。

希望のデータ構造

import pandas as pd

df = pd.DataFrame([[1,'2018-12-17','web','どちらも利用'],
                   [1,'2018-12-18','web','どちらも利用'],
                   [1,'2018-12-10','store','どちらも利用'],
                   [2,'2019-1-10','store','店頭のみ'],
                   [2,'2019-1-10','store','店頭のみ']],
                  columns=['no','sale_date','channel','main_channel'])

# id	sale_date	channel	main_channel
# 1	2018-12-17	web	どちらも利用
# 1	2018-12-18	web	どちらも利用
# 1	2018-12-10	store	どちらも利用
# 2	2019-1-10	store	店頭のみ
# 2	2019-1-10	store	店頭のみ

main_chanelの条件

どちらも利用:同idでchannelカラムにweb,storeが存在する。
店頭のみ:同idでchannelカラムにstoreのみが存在する。
webのみ：同IDでchannelカラムにwebのみが存在する。

###　発生するエラー

pdf = pd.pivot_table(df.loc[:, ["no", "channel"]], index="no", 
                     columns="channel", aggfunc=len)

# > print(pdf)
# channel  store  web
# no
# 1          1.0  2.0
# 6          2.0  NaN
# 22         NaN  2.0


def conv_func(row):
    if row["store"] > 0 and row["web"] > 0:
        return "どちらも利用"
    elif row["store"] > 0:
        return "店頭のみ"
    elif row["web"] > 0:
        return "Webのみ"
    else:
        raise RuntimeError(str(row))


id_main_channel_dict = dict(pdf.apply(conv_func, axis=1))  # dict: ID -> main_channel

out:
KeyError: ('web', 'occurred at index 07562705')

Answer 1

考えてみると意外と難問ですよね…

pd.pivot_table() でchannel毎の出現数を数えてから apply() などで変換していく、みたいな方法をまず思いつきました。
Pandas技は色々あるので、もっとエレガントな方法があるかもしれないです。

import pandas as pd

### 入力
df = pd.DataFrame([[1, '2018-12-17', 'web'],
                   [1, '2018-12-18', 'web'],
                   [1, '2018-12-10', 'store'],
                   [6, '2019-1-10', 'store'],
                   [6, '2019-1-10', 'store'],
                   [22, '2019-1-13', 'web'],
                   [22, '2019-1-15', 'web'],
                   ],
                  columns=['no', 'sale_date', 'channel'])

### 処理

pdf = pd.pivot_table(df.loc[:, ["no", "channel"]], index="no", 
                     columns="channel", aggfunc=len)

# > print(pdf)
# channel  store  web
# no
# 1          1.0  2.0
# 6          2.0  NaN
# 22         NaN  2.0


def conv_func(row):
    if row["store"] > 0 and row["web"] > 0:
        return "どちらも利用"
    elif row["store"] > 0:
        return "店頭のみ"
    elif row["web"] > 0:
        return "Webのみ"
    else:
        raise RuntimeError(str(row))


id_main_channel_dict = dict(pdf.apply(conv_func, axis=1))  # dict: ID -> main_channel
df["main_channel"] = df.apply(lambda cols: id_main_channel_dict[cols["no"]], axis=1)

# > print(df)
#    no   sale_date channel main_channel
# 0   1  2018-12-17     web       どちらも利用
# 1   1  2018-12-18     web       どちらも利用
# 2   1  2018-12-10   store       どちらも利用
# 3   6   2019-1-10   store         店頭のみ
# 4   6   2019-1-10   store         店頭のみ
# 5  22   2019-1-13     web        Webのみ
# 6  22   2019-1-15     web        Webのみ

Comments

[退会済みユーザー]

mokemokechicken様

ご回答ありがとうございます。
大変参考になります。

別データで実行しようとしたところ、
id_main_channel_dict = dict(pdf.apply(conv_func, axis=1))
→このコードで、奇妙なエラーが出てしまいます。
KeyError: ('web', 'occurred at index 07562705')

何かご教授いただくことは可能でしょうか？
何卒宜しくお願い致します。

[mokemokechicken]

うーん、なんでしょうね...
KeyError だから dict へのアクセスでエラーになっている気はしますが、何かちょっと違和感のあるメッセージですね。

とりあえずは、conv_func の中で強気に row["store"], row["web"] としていますが、
row.get("store", 0) とか row.get("web", 0) とかしてみるとかですかね。
※治る気もちょっとしないですが。

今回使った no=07562705 のデータが少し特殊なのかもしれませんね。
見てみて気がつくことはないでしょうか？

[退会済みユーザー]

mokemokechicken様

いつも丁寧にご回答いただき誠にありがとうございます。
無事、解決いたしました。

原因は、データ型の問題でした。
※object型に数字と英字が同居していた

mokemokechicken様のアドバイスがなければ、頓挫していたと思います。
groupbyでは実現できないと思うので、

本当にありがとうございました。

Answer 2

存在する各IDに対して、
1.IDでフィルタをかける
2.channelの値をチェックする。
3.2の結果に応じてmain_channelに入力する。
といった方法になると思います。

DataFrame.groupbyだけで実現するのは難しいのではないでしょうか？