Scrapy使用

Scrapy安装：在windows环境python3.7上进行安装，命令 pip install scrapy
如果安装失败提示需要vc14的库，检查twisted是否安装成功，如果因为twisted问题可以在https://www.lfd.uci.edu/~gohlke/pythonlibs/ 上下载对应twisted包进行pip安装
新建scrapy项目：scrapy startproject sdk
新建项目结构如图
spiders/是编写爬虫的地方
items.py 是数据存储模板，用于结构化数据
middleware.py是添加中间件的地方
pipelines.py 做数据处理永久化存储
settings.py 爬虫设置
在spiders目录下新建一个爬虫文件login.py编写接口测试用例
只针对单个接口进行测试，start_urls只需要添加测试接口
重写start_requests方法进行参数构造，使用scrapy.Request发送post请求同时定义回调函数parse_page
设置数据存储模板items.py
写parse_page回调
编写数据处理pipline.py
添加设置settings.py 300代表权重，数越小优先级越高
启动爬虫scrapy crawl login
出现错误No module named win32api解决办法：pip install pypiwin32
并发设置:

网络请求时dont_filter=True不过滤相同接口，同时修改start_urls变量
settings.py设置这三个参数