Scrapy部署爬虫项目

1、新建虚拟环境(方便管理)，在虚拟环境中安装scrapy项目需要使用到的包 mkvirtualenv --python=C:\python27\scrip\python.exe scrapySpider 新建虚拟环境进入虚拟环境使用pip将所需包安装完成

打开命令行工具安装 ：pip install scrapyd

等待安装完成

输入scrapyd启动服务

浏览器输入127.0.0.1:6800 即可查看

2。在自己在非C盘下新建一个文件夹，名称自定义如:scrapydTest，然后进入该文件夹，shift+右键 打开命令行工具，输入scrapyd执行，执行完成后会新建一个dbs空文件夹，用来存放爬虫项目的数据文件， 往后启动服务可以在该文件下shift+右键 打开命令行工具启动服务。

3、安装scrapyd-client模块。scrapyd-client模块是专门打包scrapy爬虫项目到scrapyd服务中的，进入虚拟环境，pip install scrapy-client，安装完成后，在虚拟环境的scripts中会出现scrapyd-deploy无后缀文件，这个scrapyd-deploy无后缀文件是启动文件，在Linux系统下可以远行，在windows下是不能运行的，所以我们需要编辑一下使其在windows可以运行

新建一个scrapyd-deploy.bat文件，右键选择编辑，输入以下配置，注意：两个路径之间是空格，一定要使用双引号。单引号的话会错误。
@echo off
“C:\Users\qianzhen\Envs\scrapySpider\Scripts\python.exe” “C:\Users\qianzhen\Envs\scrapySpider\Scripts\scrapyd-deploy” %1 %2 %3 %4 %5 %6 %7 %8 %9
注：第一个路径是python.exe文件路径，第二个路径是scrapy-deploy路径

4、进入虚拟环境，进入到你的爬虫项目中，进入带有scrapy.cfg文件的目录，执行scrapyd-deploy，输入scrapyd-deploy是否可以运行（这一步可以不测试）

5、打开爬虫项目中的scrapy.cfg文件，这个文件就是给scrapyd-deploy使用的将url这行代码解掉注释，并且给设置你的部署名称。
[settings]
default = TotalSpider.settings
[deploy:wj] #wj :部署名称
url = http://localhost:6800/ #解开注释
project = TotalSpider # TotalSpider :项目名称
6，接着再次执行 scrapyd-deploy -l 启动服务，可以看到自己设置的名称：wj

7，开始打包前，执行一个命令：scrapy list ，这个命令执行成功说明可以打包了，如果没执行成功说明还有工作没完成。
#： 注意执行 scrapy list 命令的时候很有可能出现错误，如果是python无法找到scrapy项目，需要在scrapy项目里的settings.py配置文件里设置成python可识别路径，输入以下代码：
BASE_DIR = os.path.dirname(os.path.abspath(os.path.dirname(file)))
sys.path.insert(0, os.path.join(BASE_DIR, “TotalSpider”))

8.到此就可以打包了。
执行打包命令： scrapyd-deploy 部署名称 -p 项目名称
如：scrapyd-deploy wj -p TotalSpider

执行后，如果出现

则爬虫运行成功
可以去网页中127.0.0.1:6800查看爬虫运行状态。