删除列表中的重复项目
问题描述:
我试过this post但它似乎不适合我。删除列表中的重复项目
我试过这段代码:
for bresult in response.css(LIST_SELECTOR):
NAME_SELECTOR = 'h2 a ::attr(href)'
yield {
'name': bresult.css(NAME_SELECTOR).extract_first(),
}
b_result_list.append(bresult.css(NAME_SELECTOR).extract_first())
#set b_result_list to SET to remove dups, then change back to LIST
set(b_result_list)
list(set(b_result_list))
for brl in b_result_list:
print("brl: {}".format(brl))
此打印出:
brl: https://facebook.site.com/users/login
brl: https://facebook.site.com/users
brl: https://facebook.site.com/users/login
当我只需要:
brl: https://facebook.site.com/users/login
brl: https://facebook.site.com/users
什么我错在这里做什么?
谢谢!
答
你丢弃的结果,当你需要保存它... b_result_list
实际上从未改变...所以你只是遍历原始列表。而不是保存set
操作的结果
b_result_list = list(set(b_result_list))
(注意:set
■不要维持秩序)如果你想维持秩序,uniqueify
答
,你可以这样做:
>>> li
['1', '1', '2', '2', '3', '3', '3', '3', '1', '1', '4', '5', '4', '6', '6']
>>> seen=set()
>>> [e for e in li if not (e in seen or seen.add(e))]
['1', '2', '3', '4', '5', '6']
或者,您可以使用OrderedDict的按键:
>>> from collections import OrderedDict
>>> OrderedDict([(k, None) for k in li]).keys()
['1', '2', '3', '4', '5', '6']
B单独一组可能会大大改变原始列表的顺序:
>>> list(set(li))
['1', '3', '2', '5', '4', '6']
哇,傻我。我一定累了。谢谢@Joran!我尽快接受 – Jshee
这里,没有必要输入'set'回到'list' –
@MoinuddinQuadri,这可能是真的......但我并不想作出暗示 –