python|二次元配列内の子要素の重複を削除する

Question

実現したいこと

二次元配列の重複削除をしたい。
ただし、制約事項として下記がある。
・二次元配列内の子要素となるリストには数値と文字列が含まれている
・子要素同士を比較した際、並び順が違うだけで構成要素が同じ場合は重複したものとみなす
・重複削除後の子要素内の並び順はオリジナルのものと同じとする

該当のソースコード

#重複削除前のリスト
original_list = [['A',2,3],[2,'A',3],[1,'B',4],[3,4,1],[1,4,'B']]

#重複削除後の成果物→['A',2,3],[2,'A',3]および[1,'B',4],[1,4,'B']は重複しているものとみなす
output_list = [['A',2,3],[1,'B',4],[3,4,1]]

試したこと

一番近いところまでいったのはset関数を使ったものだが
制約事項の子要素の並び順がずれてしまうことから断念。

original_list = [['A',2,3],[2,'A',3],[1,'B',4],[3,4,1],[1,4,'B']]
set_list = list(set(i) for i in original_list)
output_list = []
for i in set_list:
    if i not in output_list:
        output_list.append(i)
output_list
#[{2, 3, 'A'}, {1, 4, 'B'}, {1, 3, 4}]

補足情報（FW/ツールのバージョンなど）

python3.7

Answer 1

more-itertools の unique_everseen を使う場合。

from more_itertools import unique_everseen

original_list = [['A',2,3],[2,'A',3],[1,'B',4],[3,4,1],[1,4,'B']]

result = [*unique_everseen(original_list, key=frozenset)]
print(result)

# [['A', 2, 3], [1, 'B', 4], [3, 4, 1]]

Answer 2

original_listの要素のリストの各要素をstrに統一（かつソートしてtuple化)したものを重複チェック対象とすればよいかと思います。
ただし念のため各要素において型は異なるが同じstrになるもの（123と"123"など）を別物と判断するためにその型も含めるようにします。

original_list = [['A',2,3],[2,'A',3],[1,'B',4],[3,4,1],[1,4,'B']]
dup = dict()
output_list = []
for e in original_list:
    t = tuple(sorted(map(lambda e:(str(e),type(e)),e)))
    if t not in dup:
        output_list.append(e)
        dup[t] = e
print(output_list) # [['A', 2, 3], [1, 'B', 4], [3, 4, 1]]

Comments

[bsdfan]

output_list を作らずに list(dup.values()) でも良いように思いました。

[8524ba23]

あ。ですね。

Answer 3

重複削除前のリストの子リストをsetにしたリストを作っておき、このリストを重複チェックに使う例です。

# 重複削除前のリスト
original_list = [['A',2,3],[2,'A',3],[1,'B',4],[3,4,1],[1,4,'B']]

# 子リストをsetにしたリストを作成
sets_list = [*map(set, original_list)]

# 重複削除後のリスト
output_list = [
  x for i, x in enumerate(original_list)
    if i == next(filter(lambda y: y[1] == sets_list[i], enumerate(sets_list)), (-1, ))[0]
]

print(output_list)  # => [['A', 2, 3], [1, 'B', 4], [3, 4, 1]]