Pandasのマルチインデックスから条件を指定して行を削除したい

Question

1　前提・実現したいこと

DataFrameのマルチインデックスは以下のようになっています。

df.head()

df.tail()

任意に個人IDが割り当てられ、年齢ageと計測年yearが当てはまります。

headで示した内容はageとyearに矛盾がありません。
しかし、tailで示した結果は同じ個人IDに対して年齢ageと計測年yearが乖離してしまっています。

各IDに対して、そのID行が持っているyearが同じになっている時、そのID行を削除する方法を知りたいです。

Pandasの操作に詳しい方が居られましたら、是非とも宜しくお願い致します。

Answer 1

単純に重複するyearを除去したいだけならdrop_duplicatesでよいかと思いますが

年齢ageと計測年yearが乖離してしまっています

とあるように、両者に何らかの制約条件があるなら、その条件で絞る（さらに重複していたらdrop_する）とよいです。

あるいは、同じyearが複数存在するID（複数）行全体を削除することもできます。

import pandas as pd
from io import StringIO

s = """ID,age,year
1,10,2012
1,11,2011
2,20,2000
2,22,2000"""
df = pd.read_csv(StringIO(s), index_col=['ID','age'])
print(df)
"""
        year
ID age
1  10   2012
   11   2011
2  20   2000
   22   2000
"""

# 単純に重複を除去
df2 = df.drop_duplicates('year')
print(df2)
"""
        year
ID age
1  10   2012
   11   2011
2  20   2000
"""

# ageとyearに「age+year=2022」なりの何らかの制約条件があるなら
filter = (df.index.get_level_values(1) + df['year'] == 2022)
df2 = df[filter]
print(df2)
"""
        year
ID age
1  10   2012
   11   2011
2  22   2000
"""

# yearが重複しているID（複数）行全体を削除したいなら
df_g1 = (df.groupby(['ID','year']).size() <= 1) # yearが重複していなければTrue
df_g2 = (df_g1.groupby('ID').sum() >= 1)        # yearが重複していないID行ならTrue
df_g3 = df_g2[df_g2] # 条件に一致するIDを抽出
filter = (df.index.get_level_values(0).isin( df_g3.index)) # ID値で抽出
df2 = df[filter]
print(df2)
"""
ID age
1  10   2012
   11   2011
"""

Comments

[niina]

大変わかりやすく丁寧にご回答していただきありがとうございました。
本当に助かりました（ ｉ _ ｉ ）