Python3中Scrapy的安装
一、概述
最近刚开始接触Python的爬虫，自然了解到了Scrapy这个应用框架。在安装Scrapy的过程中遇到了一些问题，故在这里记录一下安装流程，也希望能帮到有需要的人。我在安装过程中主要参考了以下两篇博客，写的非常好，大家可以参考。
http://blog.****.net/qy20115549/article/details/52528896
http://blog.****.net/c406495762/article/details/60156205
二、具体安装流程
为了安装Scrapy，我们需要安装一长串东西，虽然比较麻烦，但是安装的思路还是比较清晰。
我们具体要安装：
1、Python（废话）
下载完python后记得配置环境变量，配置完在CMD中测试一下是否成功（如下图），这一步就不在赘述。
2、Setuptools
我们在安装第三方的python包时经常会用到easy_install命令，easy_install就是setuptools包里面有的一个命令，所以为了使用easy_install命令，我们需要安装Setuptools包。在安装setuptools包时我遇到了一点问题，所以尝试了脚本安装和压缩包安装两种方式，但是安装完测试时怎么都不行，在这里搞了好久，最后稀里糊涂的就成功了·····
在这里把两种方式都贴出来吧。
(1)、用脚本安装setuptools
这是 setuptools 自豪的一种安装方式，只需要一个大约 8K 作为的脚本ez_setup.py，就能自动为用户安装包括
setuptools 自身在内的许多 Python 包。进入Python官网https://pypi.python.org/pypi/setuptools/，点击
ez_setup.py（https://bootstrap.pypa.io/ez_setup.py），将里面的内容保存下来并命名为ez_setup.py。
接着切换到 ez_setup.py所在的目录下，在Windows的命令窗口CMD下运行命令 ：python
ez_setup.py 即可。
安装完了以后可以输入 easy_install 命令测试是否安装成功。
(2)、压缩包安装
你也可以在官网上下载setuptools的压缩包，下载下来以后解压，在解压的目录里面运行命令窗口，输入python ez_setup.py
安装即可，安装完用easy_install命令测试是否安装成功。
3、安装zope.interface
中的Scripts目录下，利用easy_install安装 。安装命令为：easy_install
xxxx（文件名）。用easy_install命令安装时可能会需要下载东西，有
时候会卡死，可以多尝试几次。
4、安装pyopenssl
下载地址是：https://pypi.python.org/pypi/pyOpenSSL#downloads ，然后利用下图的语句安装。
5、安装twisted
这个网站有很多好用的第三方Python库，http://www.lfd.uci.edu/~gohlke/pythonlibs/，在里面搜索twisted，下载到Script文件夹中，运行命令窗口，输入命令 pip install lxml-3.7.3-cp35-cp35m-win_amd64.whl 安装twisted。
6、安装lxml
同样在上面那个网站中下载对应的lxml，下载到Script文件夹中，运行命令，pip3
install lxml-3.7.3-cp34-cp33m-win_amd64.whl 安装。
7、安装w3lib
下载地址为： http://pypi.python.org/packages/source/w/w3lib/w3lib-1.2.tar.gz。下载完后解压，在该文件夹中运行命令窗口，输出：python
setup.py install 命令安装。
8、安装pywin32
下载地址为： https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/，下载对应的版本，然后直接运行exe文件即可。
9、安装Scrapy
终于来到最后一步了，还是在这个网站中下载 http://www.lfd.uci.edu/~gohlke/pythonlibs/，下载完之后运行pip
install Scrapy-1.3.2-py2.py3-none-any.whl安装。安装完之后可以测试是否成功，如下图：
三、总结
总共要安装的东西就是这些了，但是在这里说的简单，实际在安装的过程中可能会遇到这样那样的问题，具体在安装某一项遇到问题时可以去百度，耐心一点都能够解决。