csvの重複判定について(python, for文)

Question

csvの重複判定について

A列(カラム名:'kigou')に[A, A, B, C,...]といった文字列があるとき、
B列に、A列で重複している行に対して'重複'と出力させたいです。
つまりB列には[重複, 重複, null, null,...]という状態にしたいです。

以下のようにプログラムを組んだところ、B列が全て'重複'と出力されてしまいました。
どのようにしたらよいでしょうか。

data = pd.read_csv('kigou.csv',index_col=0,encoding='SHIFT-JIS')
kigou = data['kigou']

for i in range():
    for j in range():
        if i != j and kigou[i] == kigou[j]:
            data['判定'] = '重複'

Answer 1

質問のコードの最後の行にあるdata['判定'] = '重複'という文は、「判定」列の全ての値を'重複'にするという意味になります。「B列が全て'重複'と出力されてしま」うのはこのためです。

---

pandasでは、for文を使用しなくても手軽に操作できるように多くの便利なメソッドが実装されています。
pd.Series.duplicated()を使うと、列内で重複している値にTrue、ユニークな値にFalse、が入った列が返ってきます。
pandas.Series.duplicated — pandas documentation
pandas.DataFrame, Seriesの重複した行を抽出・削除 | note.nkmk.me

これをインデックスにして'重複'を挿入すれば希望の列が作成できます。

In [11]: df = pd.DataFrame({'kigou': list('AABC')})

In [12]: df.loc[df['kigou'].duplicated(False), 'B'] = '重複'

In [13]: df
Out[13]:
  kigou    B
0     A   重複
1     A   重複
2     B  NaN
3     C  NaN

---

速度テスト

import pandas as pd
import perfplot


def duplicated(df):
    is_duplicated = df['kigou'].duplicated(keep=False)
    df.loc[is_duplicated, 'B'] = '重複'
    return df


# tiitoi氏の解答
def groupby_tf(df):
    is_unique = df.groupby('kigou')['kigou'].transform('count') > 1
    df.loc[is_unique, 'B'] = '重複'
    return df


df = pd.DataFrame({'kigou': list('AAABBCDEFF')})
ppdata = perfplot.bench(
    setup=lambda n: pd.concat([df]*(n-1), ignore_index=True, axis=0),
    n_range=[2 ** k for k in range(1, 22)],
    kernels=[duplicated, groupby_tf],
    labels=["duplicated", 'groupby_tf'],
    xlabel="len")
ppdata.show(time_unit="s")

Answer 2

手順

以下の手順でできます。

• 1. df.groupby("A")["A"].transform("count") でA列の各値の個数を取得する。

0    2
1    2
2    1
3    1
Name: A, dtype: int64

• 1. df.groupby("A")["A"].transform("count") > 1 で重複している行を特定
• 1. loc[] でその行に"重複"という文字を代入

コード

import pandas as pd

df = pd.DataFrame({"A": ["A", "A", "B", "C"]})
is_unique = df.groupby("A")["A"].transform("count") > 1
df.loc[is_unique, "B"] = "重複"
print(df)
#    A    B
# 0  A   重複
# 1  A   重複
# 2  B  NaN
# 3  C  NaN