使用gerapy部署scrapy爬虫项目
启动gerapy服务
- 首先需要保证Python环境中有gerpay包
没有的话可以使用pip install gerapy安装(文中所做操作均在Windows系统中) - 在cmd命令行工具中输入gerapy,这一步其实非必要,只是让你知道gerapy中的命令
给出的提示信息中是你可以执行的命令 - 接下来在命令行中输入gerapy init
执行之后你会看到没有任何提示信息,但会在当前工作目录下创建一个gerapy文件夹,为了方便我是在桌面上(cd Desktop)进行的 - 把工作目录切换到gerapy文件夹中(cd gerapy)
在输入 gerapy migrate
你会看到一堆的提示信息,打开你的gerapy文件夹
有一个sqlite3文件,没错,这一步的操作就是为了创建它,暂时不需要知道它是做什么的,但是此步不能忽略 - 启动服务,执行gerapy runserver
此时我们已经启动了gerapy服务,不要把命令行工具关掉,否则服务将被关闭 - 在浏览器地址栏输入127.0.0.1:8000
可以看到还算精美的界面(比起scrapyd页面的话),右上角可以中英文切换(人性化的设计)
部署已有的scrapy项目
我们部署的scrapy项目其实还是部署到了scrapyd服务上,只是gerapy为我们提供了方便的操作和精美UI,可以部署已有的scrapy项目,也可以创建scrapy项目
1. 部署已有scrapy项目
接下来:
注:发现下面两张图中字母写错,是scrapd,不好意思,诸位明白就好
手动在当前scrapyd服务部署的scrapy项目同样会在主机中,手动部署项目请参考另一篇博文手动部署scrapy爬虫项目到Scrapyd服务点击部署