(see DUPEFILTER_DEBUG to show all duplicates)
出现(see DUPEFILTER_DEBUG to show all duplicates)的原因
在爬虫出现了重复的链接,重复的请求。解决方法:
在request添加dont_filter=True
出现(see DUPEFILTER_DEBUG to show all duplicates)的原因
在爬虫出现了重复的链接,重复的请求。解决方法:
在request添加dont_filter=True