爬虫 windows 安装 scrapy 的神坑

在Windows平台上安装scrapy，直接采用pip install scrapy重来没有成功过，今天刚装完系统，分享一下。

首先scrapy的安装之前需要安装这个模块：wheel、lxml、Twisted、pywin32，最后在安装scrapy

lxml这个库是用来做xpath提取的，这个库非常容易安装，直接在cmd窗口输入：pip intsall lxml

因为我们后面将不采用pip来安装而是直接安装.whl文件，所以这里应该安装一个wheel模块，这边你可以直接在cmd中输入pip install wheel，如果你是刚安装python，按可能在安装的时候会报错，原因是pip的版本太低，故你需要在此步骤之前，更新一下pip，直接在cmd中输入：python -m pip install --upgrade pip，

Twisted模块直接安装，肯定是会报错的，这边采用的是安装.whl文件，这边提供一个下载链接 在这个辅助库网站中搜索Twisted模块，然后根据python版本下载版本对应版本，我是python 3.6.4 我选Twisted‑18.9.0‑cp35‑cp35m‑win_amd64.whl，下载下来后，我放在桌面，然后在桌面启动cmd(按着shift键 右击鼠标 然后选择 在此处打开命令窗口)，输入 pip install Twisted‑18.9.0‑cp35‑cp35m‑win_amd64.whl

下载链接  ：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

 

pip install  scrapy ，测试执行 scrapy  是否安装成功