データフレームの集計を高速化したい

Question

データフレーム内の要素の出現数を集計したいと考えております。

このようなデータフレームを

日付       おにぎりの具
2020/9/1   梅干し
2020/10/1  サケ
2020/11/1  タラコ
2020/12/1  タラコ
2021/1/1   梅干し

このようにしたい。
resampleで期間ごとに集計できる形式にするのが目的です。

日付　　　　 おにぎりの具	　梅干し　サケ　　タラコ
2020/9/1　　梅干し	　　　　　1
2020/10/1　 サケ		　　　　　　　1
2020/11/1　 タラコ			　　　　　　　　　1
2020/12/1　 タラコ			　　　　　　　　　1
2021/1/1    梅干し	　　　　 1

そこでdf.iterrowsで回して次の通り処理をしてるのですが、
速度面で難があります。

gu = ["梅干し","サケ","タラコ"]
for g in gu:
	for i in df.iterrows():
		df.loc[df["おにぎりの具"] == g, g] = 1

そこでmapメソッドを使って、次の通り関数を適用させることで
解消しようとしてますが、エラーとなります。
エラーの原因がどうしてもわかりません。

s = df["おにぎりの具"]

def onigiri_map():
    onigiri_str = ["梅干し","サケ","タラコ"]
    for oni in onigiri_str:
        df.loc[df["おにぎりの具"]==oni,oni] = 1

s = s.map(onigiri_map())

TypeError: 'NoneType' object is not callable

どうしてもmapにこだわる理由もないのですが、原因等分かればと思います。
分かりにくい説明となりましたが、どうぞご回答よろしくお願いします。

Answer 1

処理としての正解は「get_dummiesを使う」だと思いますが、質問文のコードの問題点について。

Seriesのmapの引数には関数オブジェクトを指定します。ですから、()を付けてonigiri_mapを呼び出してはいけません。onigiri_mapの返り値を指定することになり、返り値はNoneなので、件のエラーの原因になります。

さらに言えば、mapに渡す関数オブジェクトは引数を一つ取らなければいけないので、()を取っただけでは別のエラーが発生します。この引数には、「おにぎりの具」の要素がひとつずつ渡されます。

細かな問題としては、df.locで1に設定した以外の「梅干し」などの列のデータはNaN(float型)になるので、1も連動して1.0(float型)になります。あらかじめ「梅干し」列を0で埋めておくなどの対策が必要でしょう。

ということで、これらを解決した(けど、おそらく使われない)コードがこちら。

import pandas as pd
import io

txt = """
日付,おにぎりの具
2020/9/1,梅干し
2020/10/1,サケ
2020/11/1,タラコ
2020/12/1,タラコ
2021/1/1,梅干し
"""

pd.set_option('display.unicode.east_asian_width', True)

df = pd.read_csv(io.StringIO(txt), parse_dates=['日付'])
s = df["おにぎりの具"]
for g in s:
    df[g] = 0
# print(df)


def onigiri_map(oni):
    onigiri_str = ["梅干し", "サケ", "タラコ"]
    if oni in onigiri_str:
        df.loc[df["おにぎりの具"] == oni, oni] = 1


s.map(onigiri_map)
print(df)

        日付 おにぎりの具  梅干し  サケ  タラコ
0 2020-09-01       梅干し       1     0       0
1 2020-10-01         サケ       0     1       0
2 2020-11-01       タラコ       0     0       1
3 2020-12-01       タラコ       0     0       1
4 2021-01-01       梅干し       1     0       0

Comments

[gogotowel]

tiitoi様のご指摘にもありましたが、関数オブジェクトの使い方を分かってなかったということですね・・・
勉強になります。ありがとうございます。

Answer 2

カテゴリ変数の OneHot表現への変換は pandas.get_dummies() で行えます。

df = pd.DataFrame(
    {
        "日付": ["2020/9/1", "2020/10/1", "2020/11/1", "2020/12/1", "2021/1/1"],
        "おにぎりの具": ["梅干し", "サケ", "タラコ", "タラコ", "梅干し"],
    }
)

df2 = pd.get_dummies(df, columns=["おにぎりの具"], prefix="", prefix_sep="")
df2["おにぎりの具"] = df["おにぎりの具"]
print(df2)

	日付	サケ	タラコ	梅干し	おにぎりの具
0	2020/9/1	0	0	1	梅干し
1	2020/10/1	1	0	0	サケ
2	2020/11/1	0	1	0	タラコ
3	2020/12/1	0	1	0	タラコ
4	2021/1/1	0	0	1	梅干し

---

ちなみに質問コードのエラーの原因ですが、onigiri_map() は返り値がないため、

s.map(onigiri_map())

は

s.map(None)

とやっているのと一緒なので、エラーになります。

Comments

[gogotowel]

約15秒が約1.5秒に縮まりました。すごい効果です。
大変ありがとうございました。