pandas dataframeにおける複数カラムによる順位付け

Question

前提・実現したいこと

pandas dataframeにおける複数カラムによる順位付けについて。
pandas dataframeにおいて、あるカラムの値ごとに分類したのち、複数のカラムの値を使って順位付けし、順位が1かどうかをbooleanからなるseriesで抽出したいです。

（例）
下記のdata frameは、idが1,2の生徒がそれぞれ2回、数学と理科のテストを受けた結果です。
ここから、生徒1,2それぞれについて、数学の得点が最高のレコード、ただし同点のレコードがある場合には理科の得点が最低のレコードを抽出したい。

発生している問題・エラーメッセージ

エラーは表示されないですが、以下の2点の問題があります。
・カラムごとにTrue, Flaseが返り値になってしまう。(2カラムを持つdata frameが返ってくる。）
・rankの引数として、ascendingにリストを渡すと、Falseが機能しない。

該当のソースコード

# データ
df_test = pd.DataFrame(data={
    'id': [1, 2, 1, 2],
    'math': [60, 80, 60, 70],
    'science': [70, 80, 80, 70]
})

# 実行した処理
df_test.groupby('id')[['math', 'science']].rank(ascending=[False, True], method='min') == 1

# 処理結果
math	science
0	True	True
1	False	False
2	True	False
3	True	True

# 返ってきてほしい結果
0     True
1     True
2    False
3    False
Name: flag, dtype: bool

試したこと

次に試すことが思いつかない状況です。

補足情報（FW/ツールのバージョンなど）

Anaconda3-2019.03
pandas.version : 0.24.2

Comments

[kirara0048]

数学理科がどちらも2回とも同じ点数だった場合はどうなりますか？

[kiritanpo]

説明不足で申し訳ありません。どちらか一方のみを残したいです。

Answer 1

下記のような方法はどうでしょうか?

1. 点数でソートする(mathは高い順、scienceは低い順)
2. idでグループ化
3. グループ化されたテーブルから先頭1行を取り出す(目的のデータを取り出し)

取り出すだけなら以上で終了ですが、欲しいのはSeriesによるTrue/Falseとのことですので、元のデータフレームdf_testのインデックスを残して、それをもとにTrue/Falseを作ります。

これをソースコードにすると下記のようになります。

df_head = (
    df_test.reset_index()
    .sort_values(["math", "science"], ascending=[False, True])
    .groupby(["id"], sort=False)
    .head(1)
    .set_index("index")
)

s = pd.Series(df_test.index)
print(s.isin(df_head.index))

Comments

[kiritanpo]

早速ご回答いただきありがとうございます！大変助かりました。いち早くご回答いただき、使いやすいコードでした。ベストアンサーにさせていただきます！

Answer 2

np.lexsort()を用いた方法です。考え方はおおむねyymmt氏と同じです。

df_test.index.to_series().isin(
    np.lexsort([df_test['science'], -df_test['math'], df_test['id']])[::2]
)

# 0     True
# 1     True
# 2    False
# 3    False
# dtype: bool

---

np.lexsort()によって、以下のソートを行ったときのindexの並び順を得ています。

1. idでソート
2. idが同じものは数学点数高い順でソート
3. 数学点数が同じものは理科点数低い順でソート

全員２回テストを受けているので、[::2]をつけて2行ずつ（1行飛ばしということ）取得すると、「今回Trueをつけたい行番号」が得られますので、これをdf_test.index.isin()に渡すことでブーリアン配列を得ることができます。

Comments

[kiritanpo]

ご回答ありがとうございます！numpyにはあるんですね、シンプルに書けて可読性も高く便利です！テストの回数が人によって違う場合には少し工夫が必要になりそうですが…

Answer 3

もっとスマートに出来るかと思うのですが、泥臭く一応出来ました。

df_test = pd.DataFrame(data={
    'id': [1, 2, 1, 2],
    'math': [60, 80, 60, 70],
    'science': [70, 80, 80, 70]
})

# 降順、昇順の組み合わせはたしかラムダ式でも出来たと思いますが単純にscieceを負にして逆のランクとする
df_test2 = df_test.copy()
df_test2['science'] = df_test2['science'] * -1
df_test2

id	math	science
0	1	60	-70
1	2	80	-80
2	1	60	-80
3	2	70	-70

tmp1:同着ありのランク
tmp2:同着を判定するため同着なしのランク
同着1位が2件ならば1.5となるが、3件以上であれば値が変わるので2つランクを作成し比較するため。
tmp3:一つにまとめたDataFrame

tmp1 = df_test2.groupby('id')[['math', 'science']].rank(ascending=False)
tmp2 = df_test2.groupby('id')[['math', 'science']].rank(ascending=False, method='min')
tmp3 = pd.concat([df_test['id'], tmp1, tmp2], axis = 1)
tmp3.columns = ['id', 'math', 'science', 'math2', 'science2']
tmp3

	id	math	science	math2	science2
0	1	1.5	1.0	1.0	1.0
1	2	1.0	2.0	1.0	2.0
2	1	1.5	2.0	1.0	2.0
3	2	2.0	1.0	2.0	1.0

mathが1.0ならば即True、mathの最高点が同着ならば、その時scienceの最低点（負にしているので1位）をTrue

(tmp3['math'] == 1.0) | ((tmp3['math'] != 1.0) & (tmp3['math2'] == 1.0) & (tmp3['science'] == 1.0))

0     True
1     True
2    False
3    False
dtype: bool

Comments

[kiritanpo]

ご回答ありがとうございます！たしかに少し強引ですが、面白い発想ですね！勉強になりました！