Python3 リストの重複をなくしたい

Question

CSVのファイル名をリストで取得します。

li = [
    "a_20210322153045_user01.csv",
    "bwq_20210322153046_user08.csv",
    "cs9j_20210322153047_user03.csv",
    "aa_20210322153048_user03.csv",
    "az_20210322153049_user04.csv",
    "ad_20210322153050_user07.csv",
    "wa_20210322153051_user32.csv",
    "eq_20210322153052_user01.csv",
    "va_20210322153053_user01.csv",
    "cs_20210322153054_user62.csv"
]

アンダースコア区切りで、
1番目：特に意味はない文字列がランダムに割り当てられます。
2番目：日時
3番目：ユーザIDとcsv拡張子

これをユーザID重複なしのリストにしたいです。
ただし重複なしのルールとして、重複するデータは、2番目の日時が最新のものを残すとします。

これを実現しようと思って下記のように書いてみました。

方法としては最初にユーザIDのみを重複なしで用意して、それと最新日時を関連付けるようにしました。

一応これでやりたいことは実現できているのかなと思いますが、他にスマートな方法があったら教えてほしいです。

import re

li = [
    "a_20210322153045_user01.csv",
    "bwq_20210322153046_user08.csv",
    "cs9j_20210322153047_user03.csv",
    "aa_20210322153048_user03.csv",
    "az_20210322153049_user04.csv",
    "ad_20210322153050_user07.csv",
    "wa_20210322153051_user32.csv",
    "eq_20210322153052_user01.csv",
    "va_20210322153053_user01.csv",
    "cs_20210322153054_user62.csv"
]

user_li = []
time_li = []
tmp_li = []
dst_li = []

for i in li:
    user = i.split("_")[2]
    if not user in user_li:
        user_li.append(user)

for i in range(len(user_li)):
    for j in range(len(li)):
        if user_li[i] == li[j].split("_")[2]:
            time_li.append(li[j].split("_")[1])
    # str型にmax()
    tmp_li.append([max(time_li), user_li[i]])
    time_li = []

#for i in tmp_li:
#    print(i)

for i in tmp_li:
    pattern = r".*_" + i[0] + r"_" + i[1]
    dst_li.append([s for s in li if re.fullmatch(pattern, s)])

for i in dst_li:
    print(i)

Answer 1

dictを使って、ユーザ毎の最新の日時のものだけを残すようにすれば、ループが1回でできます。

li = [
    "a_20210322153045_user01.csv",
    "bwq_20210322153046_user08.csv",
    "cs9j_20210322153047_user03.csv",
    "aa_20210322153048_user03.csv",
    "az_20210322153049_user04.csv",
    "ad_20210322153050_user07.csv",
    "wa_20210322153051_user32.csv",
    "eq_20210322153052_user01.csv",
    "va_20210322153053_user01.csv",
    "cs_20210322153054_user62.csv"
]

max_time = {}
for i in li:
    _, time, user = i.split('_')
    if (user not in max_time
            or time > max_time[user][1]):
        max_time[user] = (i, time)

print([t[0] for t in max_time.values()])

# userでソートする場合
print([max_time[u][0] for u in sorted(max_time)])

Comments

[person]

回答ありがとうございます。
参考にさせていただきます。

Answer 2

pandasを使うと、以下のようになります。

>>> li = [
...     "a_20210322153045_user01.csv",
...     "bwq_20210322153046_user08.csv",
...     "cs9j_20210322153047_user03.csv",
...     "aa_20210322153048_user03.csv",
...     "az_20210322153049_user04.csv",
...     "ad_20210322153050_user07.csv",
...     "wa_20210322153051_user32.csv",
...     "eq_20210322153052_user01.csv",
...     "va_20210322153053_user01.csv",
...     "cs_20210322153054_user62.csv"
... ]
>>>
>>> import pandas as pd
>>>
>>> df = pd.DataFrame([fname[:-4].split('_')[1:]+[fname] for fname in li]).groupby(1).max()
>>> print(df)
                     0                               2
1
user01  20210322153053    va_20210322153053_user01.csv
user03  20210322153048  cs9j_20210322153047_user03.csv
user04  20210322153049    az_20210322153049_user04.csv
user07  20210322153050    ad_20210322153050_user07.csv
user08  20210322153046   bwq_20210322153046_user08.csv
user32  20210322153051    wa_20210322153051_user32.csv
user62  20210322153054    cs_20210322153054_user62.csv

Comments

[person]

回答ありがとうございます。
pandasを使ったことがないので、
pandasについて勉強してから
参考にさせていただきます。