Pythonのリスト内辞書で重複を削除する方法について

Question

前提・実現したいこと

Pythonのリスト内辞書で重複を削除しようとしています。
キーが同じ時に削除と、キーも値も同じ時に削除する方法を探しています。

B = [{'a':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}, {{'b':['g', 'b', 'g']}]
#キーも値も同じ時
B = [{'a':['a', 'b', 'g']}, {'b':['a', 'b', 'g']},{{'b':['g', 'b', 'g']}]
#キーが同じ時
B = [{'a':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}]

発生している問題・エラーメッセージ

普通のリストは、set()で重複を削除できるのですが、まずキーも値も同じ時にset()をリスト内辞書でも使用しようとしたところエラーになりました。

$ python sample.py
['b', 'g', 'a']
Traceback (most recent call last):
  File "sample.py", line 7, in <module>
    B = list(set(B))
TypeError: unhashable type: 'dict'

該当のソースコード

A = ['a', 'a', 'b', 'g', 'a']
B = [{'a':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}]

A = list(set(A))
print(A)

B = list(set(B))
print(B)

試したこと

以下のように各要素にアクセスして、キーと値の一致を確認して削除することになるのでしょうか。
要素が増えるとアクセスしている配列Bの長さlen(B)がループを回すごとに変化していくので、より良い方法があれば教えていただきたいです。

[{'a': ['a', 'b', 'g']}, {'b': ['a', 'b', 'g']}]

for i in range(len(B)-1):
	if B[i].items() == B[i+1].items():
		B.remove(B[i])

print(B)

Comments

[ppaul]

tenjinさんの考える 同じ は何なのでしょうか。

以下のことを知らない人は結構多いので、ご自分でこれを確認してみてください。

>>> print( set([1, 1.0]))
{1}

これは、集合の要素して、1と1.0は 同じ であることを示しています。この結果、以下のことも成り立っています。

>>> print({1:'a'} == {1.0:'a'})
True

これを理解したうえで、tenjinさんの考える 同じ は何なのかを追記してください。

Answer 1

from collections import defaultdict

B = [{'a':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}, {'b':['g', 'b', 'g']}]

# キーも値も同じ要素（辞書要素）を１つにシュリンク
def shrinkByDic(lst):
    dat = {(k, tuple(v)) for s in lst for k, v in s.items()}
    return list(dict([(s[0], list(s[1]))]) for s in dat)

print(shrinkByDic(B))
# [{'b': ['g', 'b', 'g']}, {'b': ['a', 'b', 'g']}, {'a': ['a', 'b', 'g']}]

# キーが同じ要素を１つにシュリンク
def shrinkByKey(lst):
    dat = [{k: set(v)} for s in lst for k, v in s.items()]
    dic = defaultdict(set)
    for s in dat:
        for k, v in s.items():
            dic[k] |= v
    return list(dict([(k, list(v))]) for k, v in dic.items())

print(shrinkByKey(B))  # [{'a': ['b', 'a', 'g']}, {'b': ['b', 'a', 'g']}]

Answer 2

「同じ」と判定したいものをhashableなtupleに変換し、setで重複チェックするのはどうでしょうか。

# キーと値（リスト）をタプルにまとめる
def tf1(dct):
    t = tuple()
    for k in sorted(dct.keys()):
        t = t + tuple((k, tuple(dct[k])))
    return t

# キーをタプルにまとめる
def tf2(dct):
    return tuple(sorted(dct.keys()))

# tuple_func : 辞書をタプルに変換するヘルパー関数
def remove(B, tuple_func):
    ret = []
    s = set()
    for b in B:
        t = tuple_func(b)
        if t not in s:
            ret.append(b)
            s.add(t)
    return ret

B = [{'a':[1,2]}, {'b':[3,4]}, {'b':[5,6]}, {'b':[3,4]}, {'c':[1],'d':[1,2]}, {'c':[1],'d':[1,2]}]
print(remove(B, tf1))
# [{'a': [1, 2]}, {'b': [3, 4]}, {'b': [5, 6]}, {'c': [1], 'd': [1, 2]}]
print(remove(B, tf2))
# [{'a': [1, 2]}, {'b': [3, 4]}, {'c': [1], 'd': [1, 2]}]

Answer 3

あまりメモリ量とか速度とか難しく考えず素直に実装したバージョンです

要素が増えるとアクセスしている配列Bの長さlen(B)がループを回すごとに変化していくので、より良い方法があれば教えていただきたいです。

下記では、元のリストBを加工するのではなく、別のリストを用意してそこに結果を格納するようにしています。


「キーが同じとき」

B = [{'a':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}, {'b':['g', 'b', 'g']}]

key_list = []
result1 = []
for item in B:
    key = item.keys()
    if not key in key_list:
        key_list.append(key)
        result1.append(item)

print(result1)

　
「キーと値が同じとき」

B = [{'a':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}, {'b':['a', 'b', 'g']}, {'b':['g', 'b', 'g']}]

result2 = []
for  item in B:
    if not item in result2:
        result2.append(item)

print(result2)