drop_duplicatesで重複を削除した後、残ったものを抽出する

Question

データフレームdf1（7976 rows × 167 columns）があります。

df2=df1.drop_duplicates()でdf2（6439 rows × 167 columns）を得ます。

ここでdf1から削除された行の中で特定のインデックスに対応する行（これらのインデックスはindex_listに入っているとします。12個のインデックスです。）と重複しており、df2に残ったもののインデックスを取り出したいです。わかりにくいかもしれませんが、削除された行の中でindex_listに含まれるインデックスを持った行と重複していながらも重複一番目だけを残す条件（keep=first)により残ったもののインデックスを知りたいです。

なお重複している場合はすべてのコラムの値が重複しています。

下を実行し以下のエラーが出ました。

get_index=[]
for i in index_list:
    for j in df2.index:
        if df1.loc[i, :]==df2.loc[j,:]:
            get_index.append(j)
        
get_index


---------------------------------------------------------------------------

ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().
        

どうぞよろしくお願いします。

Answer 1

こうですかね。

get_index=[]
for i in index_list:
    for j in df2.index:
        if (df1.loc[i, :] == df2.loc[j, :]).all():
            get_index.append(j)

Comments

[nouken]

回答ありがとうございます。お聞きしたいのですが、ここでのall関数の意味はどういうものなのでしょう？調べたのですが、このような使い方の例は見つけられなかったのですが‥

[magichan]

df1.loc[i, :] == df2.loc[j, :]
の部分は df の行データ(Series)同士の比較を行っておりますので、その結果はbool型のSeriesデータで得られます。

[magichan]

こんなかんじ

print(pd.Series([1,2]) == pd.Series([1,2]))
#0 True
#1 True
#dtype: bool

print(pd.Series([1,2]) == pd.Series([1,3]))
#0 True
#1 False
#dtype: bool

[magichan]

そこで pandas.Series.all() を使うことによりSeriesデータの全ての要素がTrueの場合のみ Trueが返るようにしております。

http://pandas.pydata.org/pandas-docs/version/0.22/generated/pandas.Series.all.html

[nouken]

なるほど！非常にわかりやすい説明ありがとうございます！

Answer 2

import numpy as np
import pandas as pd

df = pd.DataFrame()
df['a'] = np.random.randint(5, size=10)
df2 = df.drop_duplicates(keep='first')
print(df)
print(df2.index)
print(df2.sort_values('a').index)