Python Pandas データフレームのフラグ付けに関する質問です

Question

50個程度の商品売買に関するDataFrameがあります。（50000行程度）

以下のように、
同じ名前の商品で複数回の売買があり「累計数量」が「0件」になったら、
次の行から別の取引とわかるようにフラグを立てたいと思っているんのですが、うまくいかず。。。お力添えよろしくお願いいたします。

＜現在＞
商品名 累計数量
商品1 20
商品1 -10
**商品1 0 **　←　累計数量が「０」になったら、次の行からフラグ番号を変えたい
商品1 50
商品1 -50
**商品1 0 **　←　累計数量が「０」になったら、次の行からフラグ番号を変えたい
商品1 50

＜完成イメージ＞

商品名	累計数量	フラグ
商品1	20	1
商品1	-10	1
商品1	0	1
商品1	50	2
商品1	-50	2
商品1	0	2
商品1	50	3

Comments

[ppaul]

元のデータに商品1以外の商品はないと考えてよいのですか？
50個程度の商品というのが混在した状態だとすると、商品名ごとにフラグを立てるのでしょうか？

Answer 1

まず、可読性重視で書く。

def generate_flag(values):
    flag = 1
    result = []
    for x in values:
        result.append(flag)
        if x == 0:
            flag += 1
    return result

で、これは遅いのですが、

df = pd.DataFrame({"商品名":["商品1"] * 7 * 7000,
                   "累計数量":[20, -10, 0, 50, -50, 0, 50] * 7000})

%%timeit -n 100
res = generate_flag(df["累計数量"])
7.38 ms ± 187 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
# 先に回答されていたお二方から拝借しています
%%timeit -n 100
res = (df['累計数量'].shift() == 0).cumsum()
680 µs ± 31.7 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
%%timeit -n 100
res = (df["累計数量"] == 0).cumsum() - (df["累計数量"] == 0) + 1
1.1 ms ± 78 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

基本的に同じロジックのまま多少書き換えて、numbaでjitコンパイルします。

import numba
import numpy as np

@numba.jit("i8[:](i8[:])", nopython=True)
def generate_flag_jit_i(values):
    """型指定することにしました
    """
    N = values.shape[0]
    flag = 1
    result = np.empty(N, dtype=np.int64)
    for i in range(N):
        result[i] = flag
        if values[i] == 0:
            flag += 1
    return result

def generate_flag_jit(values):
    """最低限入力の型をあわせたりしないといけないので、ラッパー関数
    """
    values = values.values
    if values.dtype != np.int64:
        values = values.astype(np.int64)    
    return generate_flag_jit_i(values)

ぱっと見はごたごたしていますが、実は上のコードとほとんど同じロジックで動いています。追加したコードは機械的に足しているだけなので、慣れれは数分で書けます。

すると、

%%timeit -n 100
generate_flag_jit(df["累計数量"])
58.8 µs ± 11.5 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

となり、cumsumとかで書くより10倍速かったりします。

---

書いちゃったので投げておきますが、基本的には他の方の回答のやり方で良いと思われます。

どうしてもベクトル操作のメソッドで書くと遅くなってしまう……実用的ではない……

というとき、numbaでループを書くテクニックは使えるので、頭の片隅に入れておいて損はありません、という程度です。

Comments

[iios]

ご丁寧にご解説くださりありがとうございました。
まだ飲み込めていないので、後ほど動かしながら確認させていただきます。
ありがとうございました。

Answer 2

.cumsum()メソッドを使いましょう。
pandas.Series.cumsum — pandas 1.2.1 documentation
pandasで累積和・累積積（cumsum, cumprod, cummax, cummin） | note.nkmk.me

In [3]: df
Out[3]:
   商品名  累計数量
0  商品1    20
1  商品1   -10
2  商品1     0
3  商品1    50
4  商品1   -50
5  商品1     0
6  商品1    50

In [4]: (df['累計数量'].shift() == 0).cumsum()
Out[4]:
0    0
1    0
2    0
3    1
4    1
5    1
6    2
Name: 累計数量, dtype: int32

Comments

[iios]

こんなにシンプルに書けるんですね。解決いたしました。ありがとうございました。

Answer 3

以下のような考え方はどうでしょう。

1. 数量が0になっているかどうかのTrue/Falseの列を作る
2. 1.で作った列について累積和をとる
3. このままだと番号が変わるタイミングが0になった時になってしまうので、0になる場所について1引く
4. スタートが0始まりになっているので、全体に1足す

df = pd.DataFrame({"num":[20, -10, 0 ,50, -50, 0, 50]})
df["flag"] = (df["num"] == 0).cumsum() - (df["num"] == 0) + 1

num	flag
20	1
-10	1
0	1
50	2
-50	2
0	2
50	3

Comments

[iios]

手順も書いていただき、とても助かりました！ありがとうございます。