一只爬虫带你看世界【10】

14. 爬虫框架 Scrapy 安装及调试

前言部分: Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。它可以应用在数据挖掘、信息处理或者存储历史数据等一系列程序中。设计之初是为了页面抓取，应用于获取API所返回的数据，或者通用的网络爬虫。

安装步骤：

A：安装python 2.7.X 系列，本例下载2.7.9作为演示

下载python 2.7.9，一路next安装。

B: 打开命令行，输入以下命令，设置环境变量：

$C:\Python27\python.exe

$C:\Python27\tools\Scripts\win_add2path.py

C: 重新打开命令行，输入命令：

$python --version

若没有显示python 版本号，请重新启动系统

D：安装pywin32-219，下载后，点击安装，一路next

E: 安装pip，python2.7.9默认安装了，若没有安装请下载pip软件，进入命令行

键入命令：$pythonget-pip.py，之后配置环境变量，\Python27\ Scripts，重启命令行，

键入命令：$pip --version

若没有显示pip 版本号，请重新启动系统！

F: 安装lxml软件，打开http://lxml.de/installation.html，下载lxml-3.4.2.win-amd64-py2.7，一路next安装。

下载pyOpenSSL-17.3.0，解压该文件，打开命令行，cd到解压目录，键入命令：

$python setup.py install

H:安装Scrapy ，重新打开命令行，键入$pip install Scrapy

若出现以下信息：

解决方案：

则重新安装pip软件，重新打开命令行，键入以下命令：

$python -m pip install --upgrade --force pip

$pip install setuptools==33.1.1

安装最新的setuptools软件，

再次输入安装scrapy命令：

$pip install Scrapy

出现上述界面成功安装好Scrapy

查看安装好的Scrapy：

打开命令行，输入$ Scrapy

出现上述界面okay啦！