pythonでDataframeの重複した行をある条件下で消したい

Question

pythonで次の表について、

国　会社　個数
Japan A 100
Japan A 50 ←消したい
China B 100　←消したい
China B 1000

列の国、会社が同じ重複している行を消したいのですが、
さらに条件を加えて個数が大きい方を残したいです。
drop_duplicates関数で行おうとしてたのですが、
python初心者の者で、よく分かりません。

ご教示頂いてもよろしいでしょうか。よろしくお願い致します。

Answer 1

drop_duplilcates()の引数 subset と keep を使います
最初にsort_values()で昇順でソートして、drop_duplicates()で keep='last'として、最後のものを残します。

import pandas as pd

df = pd.DataFrame({
    '国':['Japan', 'Japan', 'China', 'China'],
    '会社':['A','A','B','B'],
    '個数':[100,50,100,1000]
})

# ①ソート
df = df.sort_values(['国','会社','個数'])

# ②重複削除　ソートの際に昇順に並べたのならkeep='last'（もしソートの際に降順に並べたならkeep='first'）
df = df.drop_duplicates(subset=['国','会社'], keep='last')

# ③必要に応じて：並び順を①のソート前に戻す
df = df.sort_index()

Answer 2

もとのDataFrameのIndex情報が要らないのであれば

df.groupby(('国','会社')).max().reset_index()
#       国 会社    個数
#0  China  B  1000
#1  Japan  A   100

で良い気がします。

もとのDataFrameのIndex情報を保持したいのであれば

df.loc[df.groupby(('国','会社'))['個数'].idxmax()].sort_index()
#  会社    個数      国
#0  A   100  Japan
#3  B  1000  China

でどうでしょうか。

Comments

[kagobito]

簡潔に説明いただき、ありがとうございました。こちらを元に解決させて頂きました。

Answer 3

ぱっと調べた感じではSQLの集約関数のような機能は標準ではないので、簡単に実現するなら以下のような感じでしょうか？
出力形式等は実際の適用する場所に合わせて調整してみてください。

import pandas

dataframe = pandas.DataFrame({
    'country':['Japan', 'Japan', 'China', 'China'],
    'company':['A','A','B','B'],
    'value':[100,50,100,1000]
})

for country in dataframe['country'].unique().tolist():
    for company in dataframe.query('country == "{}"'.format(country))['company'].unique().tolist():
        value = max(dataframe.query('country == "{}"'.format(country)).query('company == "{}"'.format(company))['value'].tolist())
        print('country:{} company:{} value:{}'.format(country, company, value))

Comments

[kagobito]

詳細にご説明いただき、ありがとうございました。参考になりました。