Gerapy分布式爬虫管理框架
作用: 从 Scrapy 的部署、启动到监控、日志查看,我们只需要鼠标键盘点几下就可以完成
安装流程:
1. 打开cmd命令行工具:
pip install gerapy
2. 安装完成后, 直接输入:
gerapy(可以获取它的基本使用方法)
3. 在任意路径下执行以下命令:
gerapy init(博主路径指定的是桌面)
执行完毕后, 本地便会生成一个名字为gerapy的文件夹, 进入该文件夹, 可以看到一个有projects文件, 后面会用到
4. 执行数据库初始化命令:
cd gerapy(进入文件)
gerapy migrate
这样它就会在gerapy目录下生成一个SQlit数据库, 同时建立数据库表
5. 启动服务
gerapy runserver
这样就可以看见Gerapy已经在8000端口上运行了
接下来在浏览器中打开 http://localhost:8000/, 就可以看到Gerapy的主界面了
以下是操作: