Python布隆去重
布隆去重配置步骤:
1.将scrapy_redis拷贝到项目目录下
2.下载pyboomfilter文件,拷贝到scrapy_redis文件夹中
3.找到scrapy_redis中的dupefilter.py
4.
5.
6.
布隆去重配置步骤:
1.将scrapy_redis拷贝到项目目录下
2.下载pyboomfilter文件,拷贝到scrapy_redis文件夹中
3.找到scrapy_redis中的dupefilter.py
4.
5.
6.