重複したデータを見つけて１つ以外削除

Question

こちらのデータの前処理で困っています。
B,C,E列が同じ値の時、D列の最大値以外のデータを削除したいです。
つまり、上のデータで言うならば、3行目を削除したいです。

このデータ処理の前過程的（以下のプログラム）にpandasは使わずに行いたいです。
リストを辞書化するなど色々試したつもりですが、自力ではできなかったです。

どうかご教授お願い致します。

以下のプログラムは前過程の部分です。

import csv
import collections

save_name = r"C:\Users\python/2022-01-13.csv"

def write_macrosheet():

    f = open(save_name, "r")
    reader = csv.reader(f)
    data = [ e for e in reader ]

#20211101 データの年月日と設備Noが0の時は削除！（本データでは4行目は削除されるはず）
    data_len = len(data)
    # print(data_len)
    for d in reversed(range(data_len)):
        if data[d][0][0:2]== "00" and data[d][5][0:1]== "0":
            del data[d]
            
#20211213 uniqueデータのみにする
    seen = []
    unique_list = [x for x in data if x not in seen and not seen.append(x)]
    data = unique_list

#発生時間[B]と番号[C]と番号[E]が同じものは時間[D]が最大のものだけ残して他削除

Comments

[TakaiY]

> B,C,E列が同じ値の時、D列の最大値以外のデータを削除したいです。
つまり、上のデータで言うならば、3行目を削除したいです。

とありますが、どうして3行目が削除されるのかわかりません。

[ken248]

ありがとうございます。
5行目が15.5に対して3行目は15.3なので削除したいです。
私が見逃しているようなデータにミスがあったら申し訳ございません。

Answer 1

このデータ処理の前過程的（以下のプログラム）にpandasは使わずに行いたいです。

参考として Pandas を使う場合。

import pandas as pd
import io

csv_data = '''
A,B,C,D,E,F,G,H
2022/1/12,11:06:07,350,2.2,1,1,28,0
2022/1/12,11:05:51,220,2.4,1,2,28,0
2022/1/12,10:04:26,446,15.3,1,3,28,0
00/00/00,0:00:00,0,0,0,0,0,0
2022/1/12,10:04:26,446,15.5,1,3,28,0
'''
df = pd.read_csv(io.StringIO(csv_data))

dfx = (
  df.groupby(['B', 'C', 'E'], sort=False, as_index=False)
    .apply(lambda x: x.sort_values('D').tail(1))
    .reset_index(drop=True))

print(df)
#           A         B    C     D  E  F   G  H
#0  2022/1/12  11:06:07  350   2.2  1  1  28  0
#1  2022/1/12  11:05:51  220   2.4  1  2  28  0
#2  2022/1/12  10:04:26  446  15.3  1  3  28  0
#3   00/00/00   0:00:00    0   0.0  0  0   0  0
#4  2022/1/12  10:04:26  446  15.5  1  3  28  0

print(dfx)
#           A         B    C     D  E  F   G  H
#0  2022/1/12  11:06:07  350   2.2  1  1  28  0
#1  2022/1/12  11:05:51  220   2.4  1  2  28  0
#2  2022/1/12  10:04:26  446  15.5  1  3  28  0
#3   00/00/00   0:00:00    0   0.0  0  0   0  0

Comments

[ken248]

ありがとうございます。
pandasだと関数が多くて使いやすいですよね！
ありがとうございました。

Answer 2

いろいろな方法があると思うけど、そのひとつの方法

import csv

def read_csv(filename):
    with open(filename, "r") as f:
        return list(csv.reader(f))

def unique(data):
    #発生時間[B]と番号[C]と番号[E]が同じものは時間[D]が最大のものだけ残して他削除
    unique = []
    index = {}  # (B, C, E) をキー、 uniqueのインデックス番号を値にした辞書
    for row in data:
        a, b, c, d, e, f = row
        if a.startswith("00") and f == "0":
            continue
        key = (b, c, e)
        if key in index:
            if float(d) > float(unique[index[key]][3]):  # D列値が大きければ置換
                unique[index[key]] = row
        else:
            index[key] = len(unique)
            unique.append(row)
    return unique


print(unique(read_csv(r"C:\Users\python/2022-01-13.csv")))

Comments

[ken248]

ありがとうございます！
無事実行できました！
keyを使うのは初めてだったので勉強になりました！
ありがとうございました。