Dataframe で特定の条件で対象行とその次の行のデータを削除する方法について

Question

前提・実現したいこと

Python3.5 でPandas0.23.4 を利用しています。

Dataframe から特定の条件で見つかった行とその次の行を削除する
方法についてどのような方法が良いか、アドバイスいただけないでしょうか。

データ構造

df = pd.DataFrame({
    'PCode' : [10011,  10012, 0,              10011,  10015,10016],
    'PName' : ['Drink','Rice','TicketNo-123', 'Drink','Egg','Tea'],
    'Price' : [1000,   1500,  0,              500,    1000, 1000]})

TicketNo-xxx の[xxx]については任意の数字（3桁～6桁）

判定条件

1. TicketNo-xxx が存在する行(N)と次の行(N+1)の[PCode]が10011の場合、NとN+1の行は削除する
2. TicketNo-xxx が存在する行(N)と次の行(N+1)の[PCode]が10011以外場合は、NとN+1は削除しない。

補足

• 原則データの構造としては、TiketNo-xxx の次の行は、必ず[Pcode]が10011となる前提ですが、データの不備により10011以外になっている場合を検知したいので、10011以外の場合は削除しない条件を入れて、データの不備を確認したい事情があります。

Answer 1

DataFrame.shift()を使うとよいのではないでしょうか

import pandas as pd

df = pd.DataFrame({
    'PCode' : [10011,  10012, 0,              10011,  10015,10016],
    'PName' : ['Drink','Rice','TicketNo-123', 'Drink','Egg','Tea'],
    'Price' : [1000,   1500,  0,              500,    1000, 1000]})


target = df['PName'].str.startswith('TicketNo-') & (df['PCode'].shift(-1)==10011)
df = df[~target & ~(target.shift(1).fillna(False))]
print(df)
#   PCode  PName  Price
#0  10011  Drink   1000
#1  10012   Rice   1500
#4  10015    Egg   1000
#5  10016    Tea   1000

Comments

[hiroyuki828]

ありがとうございます。
さまざまなアプローチがあることに驚きました。
こちらも実データで想定外のことがないかなど確認してみたいと思います。

[hiroyuki828]

削除対象とする'TicketNo-xxx'のところに多少揺らぎがありまして
正規表現を使いたいのですが、正規表現でも同じように書けるのでしょうか？

揺らぎのパターンとしてはこのようなイメージです。
検索対象が文中に入る「山田様　TicketNo-120 にて販売」
Ticketの表記がない「No-121」

[magichan]

であれば、
df['PName'].str.startswith('TicketNo-')
の部分を
df['PName'].str.contains('No-\d+')
などに変更するとよいのではないでしょうか

[hiroyuki828]

すみません。re を使おうとして悩んでました。
大変助かりました。ありがとうございます。

Answer 2

is_ticket = df['PName'].str.startswith('TicketNo-').to_numpy()
is_remove_pcode = df['PCode'].to_numpy() == 10011

drop_index = np.all([is_ticket, np.concatenate((is_remove_pcode[1:], is_remove_pcode[-1:]))], 0).nonzero()[0]
res = df.drop([*drop_index, *(drop_index+1)])

print(res)
#    PCode  PName  Price
# 0  10011  Drink   1000
# 1  10012   Rice   1500
# 4  10015    Egg   1000
# 5  10016    Tea   1000

---

こっちのほうがいいかも

is_ticket = df.loc[:, 'PName'].str.startswith('TicketNo-').to_numpy()
is_remove_pcode = df.loc[:, 'PCode'].to_numpy() == 10011

cond = np.r_[False, (is_ticket[:-1] & is_remove_pcode[1:]), False]
res = df.loc[~(cond[1:] | cond[:-1])]

Comments

[hiroyuki828]

ありがとうございます。
to_numpy() が動かず悩みましたが
pandas 0.23.4 →0.25.3
にすることで解決できました。
実際のデータに適用できるようコードを書いてみます。

[kirara0048]

`.to_numpy()`が実装される前のバージョンの場合は、`.to_numpy()`を`.values`に置き換えてください。

[hiroyuki828]

補足ありがとうございます。メソッドの意味を勉強していきたいと思います。

[hiroyuki828]

別コードありがとうございます。さまざまなアプローチ方法がありとても参考になります。

Answer 3

こんな感じでどうでしょうか？
すぐには同じ環境が用意できないので、Python 3.7.3, Pandas 0.24.2 で試しましたが、たぶんご質問の環境でも大丈夫かとおもいます。

# PName が TicketNo- で始まるものを削除候補の Ticket と見做す。
df['is_Ticket'] = df['PName'].map(lambda x: x.startswith('TicketNo-'))

# 次の行の PCode を保持する列を追加する。後の削除判定で使う。
df['next_PCode'] = df['PCode'][1:].append(pd.Series([0]), ignore_index=True)

# 削除対象の Ticket を判定。
df['is_remove_Ticket'] = pd.Series(zip(df['is_Ticket'], df['next_PCode'])).map(lambda x: x[0] and x[1] == 10011)

# 前の行が削除対象 Ticket か判定
df['is_prev_remove_Ticket'] = pd.Series([False]).append(df['is_remove_Ticket'][:-1], ignore_index=True)

# 削除対象 Ticket を削除
result = df[df['is_remove_Ticket'] != True]

# 削除対象 Ticket の次の行を削除
result = result[result['is_prev_remove_Ticket'] != True]

追記

削除対象の Ticket を判定する箇所は、zip() を使わず次のようにするほうがスマートでした。

# 削除対象の Ticket を判定。
df['is_remove_Ticket'] = df[['is_Ticket', 'next_PCode']].apply(lambda x: x[0] and x[1] == 10011, axis=1)

Comments

[hiroyuki828]

このようにDataframeを操作できることに大変驚きました。
ありがとうございます。
取り急ぎ zip() を使わないほうはサンプルで動かせましたので
実際のデータ構造にあわせてコードを書いてみたいと思います。

zip() 使う場合は私の力量不足で何かの定義がおかしいのか
TypeError: object of type 'zip' has no len()
となり動かせませんでした。

[hiroyuki828]

zip() 使うパターンも
pandas 0.23.4 →0.25.3
にすることで解決しました。