drop_duplicatesの役割

Question

サンプルコードで
csv fileを読み込み、最初の行を取り出すまでに

data.drop_duplicates(keep='last', inplace=True)

という行のコードがありました。
このdrop_duplicatesの役割がわかりません。
ネットには、値が重複したデータを削除する役割を持つと書いていますが、
”重複した値”が何を示すのかがわかりません。
http://sinhrks.hatenablog.com/entry/2014/11/15/230705

drop_duplicatesの役割は何なのでしょうか？

全体は

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import scipy.spatial as sp
import scipy.sparse as sparse
from sklearn.decomposition import NMF, TruncatedSVD

#csv fileの読み込み
data = pd.read_csv('user_topic_follow_dummy.csv', encoding='utf8')
data.drop_duplicates(keep='last', inplace=True)
print(data.shape)
data.head()

のようになっています。

Answer 1

drop_duplicates() は
全てのセルで、値が全く同じ行が複数行存在していた場合に、その重複している行を削除する
関数となります。

例えば

	X	Y	Z
1	9.4	4.6	3.8
2	10.5	3.2	4.8
3	10.0	4.6	5.1
4	8.9	2.8	5.2
5	10.5	3.2	4.8
6	9.9	4.1	4.0

というデータは２行目と５行目が全く同じ値が入っております。 (indexは除く)
そこで、drop_duplicates() を実行すると、5行目が削除されて

	X	Y	Z
1	9.4	4.6	3.8
2	10.5	3.2	4.8
3	10.0	4.6	5.1
4	8.9	2.8	5.2
6	9.9	4.1	4.0

となります。

あと、keepオプションは重複があった場合に残す行（削除する行）を選択するためのオプションとなります。
上記の例では２行目を残して、５行目を削除しておりますが、（keep='first'[default]）
keep='last'とすると最後の行（５行目）が残ります。
また、keep=Falseとすると両方の行が削除されます

---

【追記】

inplace オプションの説明です。

例えば、df 変数に対して、

df.drop_duplicates(inplace=True)

のように inplace=True の引数と共に drop_duplicates() を実行すると、 df 変数に格納されているデータフレーム自身から重複行が削除されます。つまりこのメソッドはdfの内容を変更してしまうことになります。

このようにオブジェクト自身の内容を変更してしまうメソッドを 『破壊的メソッド』とよびます。

一方、

df2 = df.drop_duplicates(inplace=False)

のように inplace=False の引数と共に drop_duplicates() を実行すると、 df 変数に格納されているデータフレーム自体は全く変更されません。
その代わり、df 変数に格納されているデータフレームから重複行の削除を行った結果がリターン値として戻ります。(結果、df2に格納されることになります)

このようにオブジェクト自身の内容を変更しないメソッドを 『非破壊的メソッド』とよびます。

Pythonでは慣習的に、破壊的メソッド の戻り値は None となっており、破壊的メソッドと非破壊的メソッドの 誤用を避けられるようになっております。

Comments

[退会済みユーザー]

ありがとうございます。inplace=Trueに関して質問があります。
inplaceは”破壊的にソートするかどうかを指定する”という引数みたいですが、ここでいう”破壊的”とはどういう意味になるのでしょうか？破壊的にソートするメリットは何かあるのでしょうか？

[magichan]

inplaceの説明を追記しました。

inplace は”破壊的にソートするかどうかを指定する”というのは少し間違ってますね。「破壊的メソッドかどうかを指定する」という面では間違っておりませんが、ソートは行いません。

たぶん "破壊的メソッド"と"非破壊的メソッド"を、組み込みメソッド "list.sort()" (破壊的メソッド) と 組み込み関数"sorted()" (非破壊的メソッド)　で説明しているのを見て混同したのではないでしょうか。

[退会済みユーザー]

なるほど！ありがとうございます