Gerapy分布式爬虫管理框架

作用: 从 Scrapy 的部署、启动到监控、日志查看,我们只需要鼠标键盘点几下就可以完成

安装流程:

1. 打开cmd命令行工具:

pip install gerapy

2. 安装完成后, 直接输入:

gerapy(可以获取它的基本使用方法)

Gerapy分布式爬虫管理框架

3. 在任意路径下执行以下命令:

gerapy init(博主路径指定的是桌面)

Gerapy分布式爬虫管理框架

执行完毕后, 本地便会生成一个名字为gerapy的文件夹, 进入该文件夹, 可以看到一个有projects文件, 后面会用到

4. 执行数据库初始化命令:

cd gerapy(进入文件)

gerapy migrate

Gerapy分布式爬虫管理框架

这样它就会在gerapy目录下生成一个SQlit数据库, 同时建立数据库表

5. 启动服务

gerapy runserver

Gerapy分布式爬虫管理框架

这样就可以看见Gerapy已经在8000端口上运行了

接下来在浏览器中打开 http://localhost:8000/, 就可以看到Gerapy的主界面了

Gerapy分布式爬虫管理框架

以下是操作:

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架

Gerapy分布式爬虫管理框架