辞書の配列の辞書型の要素の重複を取り除きたい

Question

辞書の配列の辞書型の要素の重複を取り除きたい。

{'A':[{'a1':10,'a2':20},{'a1':10,'a2':20},{'a1':30,'a2':25}],'B':[{'a1':40,'a2':50},{'a1':30,'a2':25},{'a1':30,'a2':25},{'a1':30,'a2':25},{'a1':22,'a2':27},{'a1':22,'a2':27}],'C':[{'a1':10,'a2':20}]} 

という辞書dfがある。

この辞書の配列の辞書型の要素の重複を取り除きたい。
例えば、{‘a1’:10,‘a2’:20},{‘a1’:10,‘a2’:20}は重複しているため１つにする、
{‘a1’:30,‘a2’:25},{‘a1’:30,‘a2’:25},{‘a1’:30,‘a2’:25}も重複しているため１つにするなど。
理想のアウトプットは、

{‘A’:[{‘a1’:10,‘a2’:20},{‘a1’:30,‘a2’:25}],’B’:[{‘a1’:40,‘a2’:50},{‘a1’:30,‘a2’:25},{‘a1’:22,‘a2’:27}],’C’:[{‘a1’:10,‘a2’:20}]} 

のような形にすることである。

x=set(df)
print(x)

とコードを書くと、
[‘A’,’B’,’C’] のようにキーだけの重複が取り除かれた。

要素は配列であるため、setメソッドでset(list)のようにして１行で書けるのか？
どのように書けば理想のアウトプットの辞書を出力できるか？

Comments

[hayataka2049]

外側の辞書のAキーに属する辞書とCキーに属する辞書が重複する、といった場合は無視して構いませんか？

[k0908]

はい、それは無視して大丈夫です

Answer 1

効率を考えると微妙なアルゴリズムですが、とりあえず用は達します。

from pprint import pprint

dct = {'A':[{'a1':10,'a2':20},{'a1':10,'a2':20},{'a1':30,'a2':25}],
       'B':[{'a1':40,'a2':50},{'a1':30,'a2':25},{'a1':30,'a2':25},{'a1':30,'a2':25},{'a1':22,'a2':27},{'a1':22,'a2':27}],
       'C':[{'a1':10,'a2':20}]} 

def remove_duplicate(lst):
    ret_lst = []
    for d in lst:
        if d not in ret_lst:
            ret_lst.append(d)
    return ret_lst

dct = {k:remove_duplicate(v) for k,v in dct.items()}
pprint(dct)
""" => 
{'A': [{'a1': 10, 'a2': 20}, {'a1': 30, 'a2': 25}],
 'B': [{'a1': 40, 'a2': 50}, {'a1': 30, 'a2': 25}, {'a1': 22, 'a2': 27}],
 'C': [{'a1': 10, 'a2': 20}]}
"""

Answer 2

json.dumps()で文字列化(hashable)にしてsetに突っ込み、リスト時にjson.loads()で辞書に戻します。

d = {'A':[{'a1':10,'a2':20},{'a1':10,'a2':20},{'a1':30,'a2':25}],'B':[{'a1':40,'a2':50},{'a1':30,'a2':25},{'a1':30,'a2':25},{'a1':30,'a2':25},{'a1':22,'a2':27},{'a1':22,'a2':27}],'C':[{'a1':10,'a2':20}]} 
print(d)

import json
for k,v in d.items():
import json
for k,v in d.items():
    s = {json.dumps(i,sort_keys=True) for i in v} # set hayataka2049さんの指摘を受けsort_keysを追加
    d[k] = [json.loads(i) for i in s]

print(d)

Comments

[hayataka2049]

sort_keys=Trueしておかないと怖い気がします

・・・dict.items()でtuple化して・・・とかも考えましたけど、どうやるのが速いんでしょうかこれ

[can110]

あ～盲点でした。たしかに。ご指摘ありがとうございます。
jsonで文字列化は乱暴だし速度も？だけど、楽ちんなので(^^;

[hayataka2049]

確かに「もしネストされたときは再帰的に・・・」とか考え始めると、強引に文字列にしてしまうjsonは良さげです

[karamarimo]

こちらで実行しましたところ、↓のように出力され、list 内で順番が維持されていないです。
{'A': [{'a1': 10, 'a2': 20}, {'a1': 30, 'a2': 25}], 'B': [{'a1': 22, 'a2': 27}, {'a1': 40, 'a2': 50}, {'a1': 30, 'a2': 25}], 'C': [{'a1': 10, 'a2': 20}]}

質問者さんが順番を維持することを要求しているかはわからないですが、維持するには set ではなく OrderedDict を用いればできると思います。

[can110]

> list 内で順番が維持されていない
ですね～
要求レベルによりますが、set→OrderdDictのほうが親切かもですね