Scrapy项目部署到Gerapy分布式爬虫框架流程

1 准备工作

(1)安装Gerapy
通过pip install gerapy即可
(2)安装Scrapyd
通过pip install scrapyd即可
(3)写好的Scrapy项目,如:
Scrapy项目部署到Gerapy分布式爬虫框架流程

2 开始部署

(1)在电脑任意位置新建一个文件夹,如:
Scrapy项目部署到Gerapy分布式爬虫框架流程
(2)打开cmd,进入到这个文件夹下,输入命令gerapy init
Scrapy项目部署到Gerapy分布式爬虫框架流程
这时他会给我生成一个文件夹
Scrapy项目部署到Gerapy分布式爬虫框架流程
在这个文件夹下还有一个文件夹
Scrapy项目部署到Gerapy分布式爬虫框架流程
(3)进入到gerapy文件夹下,在输入gerapy migrate完成gerapy初始化工作
Scrapy项目部署到Gerapy分布式爬虫框架流程
(4)将scrapy项目放到projects目录下
(5)利用gerapy runserver,启动gerapy
Scrapy项目部署到Gerapy分布式爬虫框架流程
(6)打开浏览器输入127.0.0.1:8000
Scrapy项目部署到Gerapy分布式爬虫框架流程
(7)另开启一个新的cmd,输入scrapyd,开启scrapyd
Scrapy项目部署到Gerapy分布式爬虫框架流程
(8)在gerapy中加载scrapyd服务器
Scrapy项目部署到Gerapy分布式爬虫框架流程
(9)填写信息
Scrapy项目部署到Gerapy分布式爬虫框架流程
(10)打包部署项目
Scrapy项目部署到Gerapy分布式爬虫框架流程
Scrapy项目部署到Gerapy分布式爬虫框架流程
Scrapy项目部署到Gerapy分布式爬虫框架流程