python3 でdicをsetする方法

Question

APIでJSONデータを取得しています。
そのデーターに重複があるのでユニークなリストを作りたいと思っています。

例
[[{'id': '1', 'name': 'Storage'}, {'id': '2', 'name': 'DNS'}], [{'id': '1', 'name': 'Storage'}, {'id': '3', 'name': 'HTTPS'}]
]
ネストされたリストを平らにすることは次のコード出来ました。

def flatten(nested_list):
    return [e for inner_list in nested_list for e in inner_list]

しかしこの結果をset()するとdict型だと怒られます。

set(結果["di"])
{ 1 , 2, 3}

で一応重複がないリストは出来るのですが、求めているのは次の結果です。

[{'id': '1', 'name': 'Storage'}, {'id': '2', 'name': 'DNS'}, {'id': '3', 'name': 'HTTPS'}]

どのようにすれば重複したJSONを重複しないように出来ますか？

Answer 1

dict の items() を一旦 tuple に変換することで、set() する事ができますよ。

こんな感じ

def flatten(nested_list):
    return [e for inner_list in nested_list for e in inner_list]

data = [[{'id': '1', 'name': 'Storage'}, {'id': '2', 'name': 'DNS'}],
        [{'id': '1', 'name': 'Storage'}, {'id': '3', 'name': 'HTTPS'}]]


# data を flatten
flatten_data = flatten(data)
# dict.items() を tuple にする
tuple_list = [tuple(d.items()) for d in flatten_data]
# set() で重複を削除
unique_tuple_list = set(tuple_list)
# tuple を dictに戻す
unique_dict_list = [dict(d) for d in unique_tuple_list]

print(unique_dict_list)

ワンライナーで書けばこんな感じ

print([dict(t) for t in set([tuple(d.items()) for d in flatten(data)])])

Comments

[Kentaro0919]

http://pythontutor.com/visualize.html#code=def%20flatten%28nested_list%29%3A%0A%20%20%20%20return%20%5Be%20for%20inner_list%20in%20nested_list%20for%20e%20in%20inner_list%5D%0A%0Adata%20%3D%20%5B%5B%7B'id'%3A%20'1',%20'name'%3A%20'Storage'%7D,%20%7B'id'%3A%20'2',%20'name'%3A%20'DNS'%7D%5D,%0A%20%20%20%20%20%20%20%20%5B%7B'id'%3A%20'1',%20'name'%3A%20'Storage'%7D,%20%7B'id'%3A%20'3',%20'name'%3A%20'HTTPS'%7D%5D%5D%0A%20%20%20%20%20%20%20%20%0Aprint%28%5Bdict%28t%29%20for%20t%20in%20set%28%5Btuple%28d.items%28%29%29%20for%20d%20in%20flatten%28data%29%5D%29%5D%29&cumulative=false&curInstr=29&heapPrimitives=false&mode=display&origin=opt-frontend.js&py=3&rawInputLstJSON=%5B%5D&textReferences=false

ありがとうございます。

すぐには何やってるか、わからないので、解読してみます!!