scrapyd分布式爬虫部署
- 需要安装scrapyd=1.2.0 scrapy-client=1.2.0a1
- 启动scrapyd服务
- 配置爬虫项目
- 开始向scrapyd中部署项目
通过scrapyd-deploy命令测试scrapyd-deploy是否可用。
查看当前可用于部署到scrapyd服务中的爬虫有哪些。
参数1： [deploy: jobbole]
参数2： scrapy.cfg文中中的url
命令scrapy list用来查看当前项目中，可用的爬虫。
列举scrapyd服务中已经部署的爬虫项目：
取消某个爬虫项目
curl http://localhost:6800/cancel.json -d project=myproject（项目名称） -d job=6487ec79947edab326d6db28a2d86511e8247444（id）
scrapyd文档网址http://scrapyd.readthedocs.io/en/stable/api.html#cancel-json