Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的 Python 应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

Scrapy 模块安装依赖于 twisted 模块

科普: 在命令提示符窗口键入以下命令, 可查看已安装模块和版本信息:

pip3 list 

接下来我们看看这些工具如何安装 ? 已经安装成功的模块可以跳过 

---

Twisted 模块的安装:

• Twisted 是用 Python 实现的基于事件驱动的网络引擎框架
• Twisted 模块的安装依赖与 PyOpenSSL、Zope.Interface、PyWin32，这三个模块，使用 pip 命令安装即可

---

pyOpenSSL 模块的安装:

• pyOpenSSL 模块是 python 的密码库（OpenSSL 是一个安全套接字层密码库）
• 在CMD命令提示符窗口下, 输入以下命令进行安装

pip3 install pyOpenSSL

• 如图, 安装成功后, 在最下面一行会提示: Successfully installed 字样 

---

Zope.Interface 模块的安装:

• 在CMD命令提示符窗口下, 输入以下命令进行安装

pip3 install zope.interface

• 如图, 安装成功后, 在最下面一行也会提示: Successfully installed 字样  

---

PyWin32 模块的安装:

• 在CMD命令提示符窗口下, 输入以下命令进行安装

pip3 install pywin32

---

Twisted 模块的安装

• 以上三个模块成功安装后, 下面我们在来安装 Twisted 模块
• 在CMD命令提示符窗口下, 输入以下命令进行安装

pip3 install twisted

•  如图, 安装成功后, 在最下面一行也会提示: Successfully installed 字样 , 如果安装失败...我们接着往下看

 

---

pip install twisted 安装失败 error: Microsoft Visual C++ 14.0 is required....... 解决方法如下:

Twisted 模块出现安装错误 如下：

building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

解决方法：

1、查找安装过程中Twisted的版本，在命令窗上找到 Collecting Twisted>=13.1.0 (from scrapy)..Downloading..这两行，如下：
Collecting Twisted>=13.1.0 (from scrapy)
Downloading https://files.pythonhosted.org/packages/12/2a/e9e4fb2e6b2f7a75577e0614926819a472934b0b85f205ba5d5d2add54d0/Twisted-19.2.0.tar.bz2 (3.0MB)

!!!  记住 Twisted 的版本号，我的是19.2.0

2、进入https://www.lfd.uci.edu/~gohlke/pythonlibs/，下载对应版本的whl文件。如下图，cp后面是python版本，amd64代表64位，划红线的是我的系统对应的版本，点击文件即可下载

3、使用 pip install 下载文件的完整路径名，进行安装 whl 文件

pip install C:\Users\Nick\Desktop\Twisted-19.2.0-cp37-cp37m-win_amd64.whl

4、再使用 pip3 install twisted 来安装 twisted 模块

 

---

Scrapy 模块的安装:

• scrapy 所依赖的环境在上面几个步骤中已经安装完成，下面使用pip命令安装scrapy即可
• 在CMD命令提示符窗口下, 输入以下命令进行安装

pip3 install scrapy

• 如图, 安装成功后, 在最下面一行也会提示: Successfully installed 字样

到此，scrapy 开发环境搭建完成