python 如何进行以下list 元素去重

Question

如何将以下list去重

url_list = [
        {'path': ['jy5', 'xhr', 'compose', 'init.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['cType', 'sid']},
        {'path': ['jy5', 'xhr', 'user', 'refresh.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['sid']},
        {'path': ['jy5', 'xhr', 'compose', 'compose.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['action', 'sid']},
        {'path': ['jy5', 'data', 'analytics.s'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': ['product', 'uid', 'host', 'fun', 'data', '_']},
        {'path': ['jy5', 'swf', 'upload2.swf'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': []},
        {'path': ['jy5', 'data', 'analytics.s'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': ['product', 'uid', 'host', 'fun', 'data', '_']},
        {'path': ['jy5', 'xhr', 'user', 'refresh.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['sid']},
        {'path': ['jy4-app', 'xhr', 'dropbox', 'account', 'check.do'], 'host': 'jy4-app.mail.163.com', 'method': 'POST', 'query': ['utoken', 'sid']}
]

转换成以下的list

url_list = [
        {'path': ['jy5', 'xhr', 'compose', 'init.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['cType', 'sid']},
        {'path': ['jy5', 'xhr', 'user', 'refresh.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['sid']},
        {'path': ['jy5', 'xhr', 'compose', 'compose.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['action', 'sid']},
        {'path': ['jy5', 'data', 'analytics.s'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': ['product', 'uid', 'host', 'fun', 'data', '_']},
        {'path': ['jy5', 'swf', 'upload2.swf'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': []},
        {'path': ['jy4-app', 'xhr', 'dropbox', 'account', 'check.do'], 'host': 'jy4-app.mail.163.com', 'method': 'POST', 'query': ['utoken', 'sid']}
]   

Answer 1

此list中元素为dict，是unhashable对象，使用直接set之后再list的方法去重会报错

TypeError: unhashable type: 'dict'

可以用下面的方法。

f = lambda x,y:x if y in x else x + [y]
url_list = reduce(f, [[], ] + url_list)

关于reduce()，请看http://docs.python.org/2/library/functions.html#reduce

Answer 2

想到一个办法，不知道有没有更好的方法？欢迎回答

url_list_uniq = []
for url in url_list:
        if url not in url_list_uniq:
                url_list_uniq.append(url)
print url_list_uniq

Answer 3

1. 把问题抽象一下更好，主要是代码段。抽象一下会更容易看。

2. 用 set

Answer 4

urlListNew = []
while url_list:
    url = url_list.pop()
    if url not in urlListNew:
        urlListNew.append(url)

print urlListNew

貌似我这个没第一个答案好...还破坏了原列表

Answer 5

该方法比采纳的答案速度快10倍
建议使用以下方法

def deleteDuplicate(li):
    temp_list = list(set([str(i) for i in li]))
    li=[eval(i) for i in temp_list]
    return li

原文网址:python 字典列表/列表套字典 数据去重

Answer 6

uniqlist=list(set(url_list))