使用scrapyd 部署爬虫
首先运行scrapyd开启服务器
可以用浏览器访问一下是否成功开启
开启scrapyd之后打开项目的scrapy.cfg配置文件
修改部署名，服务器地址和项目名
运行部署命令成功后在页面上会显示项目名称
然后开启爬虫
正常开启的话会得到以下提示
开启成功后在网页端的jobs里可以查看正在工作的爬虫信息
点击log可以查看日志
如果想要中途停止的话可以使用这个命令
curl http://IP:6800/cancel.json -d project=项目名称 -d job=jobid