scrapy_安装即基本操作
资源的下载
Scrapy框架官方网址：http://doc.scrapy.org/en/latest
Scrapy中文维护站点：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.htm
Windows 安装方式
- Python 2 / 3
- 升级pip版本：
pip install --upgrade pip - 通过pip 安装 Scrapy 框架
:pip install Scrap
Ubuntu 需要9.10或以上版本安装方式
- Python 2 / 3
- 安装非Python的依赖
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev - 通过pip 安装 Scrapy 框架
sudo pip install scrapy -
安装后，只要在命令终端输入 scrapy，提示类似以下结果，代表已经安装成功
-
scrapy_基本操作
- 安装成功后，在自己的pc工程里建一个文件
- 打开终端输入cd把工程里建的文件拖入 回车
- 提示类似以下结果，代表成功
- 还有一些情况，如图下
- 拖入文件终端路径没改变，小伙伴不要慌，解决如下 ：
- 1.在终端输入cd..（注意cd后面两个点 表示返回上一层）
- 2.再输入你所建工程文件的盘（在这里我的工程实在d盘，所以以此为例） 输入空格 d：
- 3.在终端里输入cd 将工程文件拖入
- 如下图
在终端建简单的爬虫工程
- 打开终端输入 scrapy startproject 文件名（建议英文）
- 成功显示如下图：
- 把建的文件写入路径中
- 成功如下图
- 在输入 scrapy +genspider +爬取网站的名字（可以随意命名但要有意义）和域名
- 成功如下图：
-
创建成功
- 如下图
打开工程
- 显示如下
- 成功