scrapy (三）各部分意义及框架示意图详解

一、 框架示意图

Scrapy 由  Python  编写 ， 是 一个快速、高层次的屏幕抓取和 web 抓取框架，用于抓取 web 站点并从页面中提取结构化的数据。 Scrapy 用途广泛，可以用于数据挖掘、监测和自动化测试。

 

 

 

1、Scrapy Engine(引擎): 引擎负责控制数据流在系统的所有组件中流动，并在相应动作发生时触发事件。

2、Scheduler(调度器): 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

3、Downloader（下载器）： 下载器负责获取页面数据并提供给引擎，而后提供给spider。

4、Spider（爬虫）： Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。

5、Item Pipeline(管道)： Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存储到数据库中)。

6、Downloader Middlewares（下载中间件）： 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

7、Spider Middlewares（Spider中间件）： Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

(2).最新版

1、引擎：怎么样，爬虫老弟，搞起来啊！

2、Spider：好啊，老哥，来来来，开始吧。今天就爬xxx网站怎么样

3、引擎：没问题，入口URL发过来！

4、Spider：呐，入口URL是https://ww.xxx.com。

5、引擎：调度器老弟，我这有request请求你帮我排序入队一下吧。

6、调度器：引擎老哥，这是我处理好的request。

7、引擎：下载器老弟，你按照下载中间件的设置帮我下载一下这个request请求。

8、下载器：可以了，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载）

9、引擎：爬虫老弟，这是下载好的东西，下载器已经按照下载中间件处理过了，你自己处理一下吧。

10、Spider：引擎老哥，我的数据处理完毕了，这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。

11、引擎：管道老弟，我这儿有个item你帮我处理一下！

12、引擎：调度器老弟，这是需要跟进URL你帮我处理下。（然后从第四步开始循环，直到获取完需要全部信息）

二、爬虫人员的主要工作

 

1 、创建一个 Scrapy 项目

2 、定义提取的 Item

3 、编写爬取网站的  spider  并提取  Item

4 、编写  Item Pipeline  来存储提取到的 Item( 即数据 )

 

三、 scrapy 基本流程

 

 

 

 

 

 

四、 scrapy  框架各部分详解

1、   Scrapy Items   ： 定义您想抓取的数据

import scrapy

class TorrentItem(scrapy.Item):

    name = scrapy.Field()

2、spiders： 编写提取数据的 Spider

1 ） ： 定义初始 URL 根网址 、   针对后续链接的规则以及从页面中提取数据的规则 （即写正则或 xpath 等等） 。

2 ） 执行 spider ，获取数据

注 ： 运行 spider 来获取网站的数据，并以 JSON 格式存入到 scraped_data.json   文件中 :

terminal ： scrapy crawl mininova -o scraped_data.json

3、编写 item  pipeline   将 item存储到数据库中

注：

1 ） 、 Item 在 Spider 中被收集之后，它将会被传递到 Item Pipeline ，一些组件会按照一定的顺序执行对 Item 的处理 ；

2 ） 每个 item pipeline 组件 ( 有时称之为 “Item Pipeline”) 是实现了简单方法的 Python 类。他们接收到 Item 并通过它执行一些行为，同时也决定此 Item 是否继续通过 pipeline ，或是被丢弃而不再进行处理。

3 ） item pipeline 的一些典型应用：

a ）清理 HTML 数据

b ）验证爬取的数据 ( 检查 item 包含某些字段 )

c ）查重 ( 并丢弃 )

4 ）将爬取结果保存到数据库中

4、编写自己的item pipeline

注：每个 item pipiline 组件是一个独立的 Python 类，同时必须实现以下方法 :

1 ） process_item(item, spider)

每个 item pipeline 组件都需要调用该方法，这个方法必须返回一个  Item ( 或任何继承类 ) 对象， 或是抛出  DropItem 异常，被丢弃的 item 将不会被之后的 pipeline 组件所处理。

参数 :

item (Item  对象 )  – 被爬取的 item

spider (Spider  对象 )  – 爬取该 item 的 spider

2 ） open_spider(spider)

当 spider 被开启时，这个方法被调用。

参数 : spider (Spider  对象 )  – 被开启的 spider

3 ） close_spider(spider)

当 spider 被关闭时，这个方法被调用

参数 : spider (Spider  对象 )  – 被关闭的 spider

5、查看提取到的数据

执行结束后，查看  scraped_data.json ,  将看到提取到的 item:

注   ： 1 ） 由于  selectors  返回 list,  所以值都是以 list 存储的 ( 除了  url  是直接赋值之外 ) 。

2 ）   Item Loaders   ： 可以 保存单个数据或者对数据执行额外的处理

 

 

---

---

About Me

........................................................................................................................ ● 本文作者：小麦苗，部分内容整理自网络，若有侵权请联系小麦苗删除 ● 本文在itpub（ http://blog.itpub.net/26736162 ）、博客园（ http://www.cnblogs.com/lhrbest ）和个人weixin公众号（ xiaomaimiaolhr ）上有同步更新 ● 本文itpub地址： http://blog.itpub.net/26736162 ● 本文博客园地址： http://www.cnblogs.com/lhrbest ● 本文pdf版、个人简介及小麦苗云盘地址： http://blog.itpub.net/26736162/viewspace-1624453/ ● 数据库笔试面试题库及解答： http://blog.itpub.net/26736162/viewspace-2134706/ ● DBA宝典今日头条号地址： http://www.toutiao.com/c/user/6401772890/#mid=1564638659405826 ........................................................................................................................ ● QQ群号： 230161599 （满） 、618766405 ● weixin群：可加我weixin，我拉大家进群，非诚勿扰 ● 联系我请加QQ好友 （ 646634621 ） ，注明添加缘由 ● 于 2019-05-01 06:00 ~ 2019-05-30 24:00 在魔都完成 ● 最新修改时间：2019-05-01 06:00 ~ 2019-05-30 24:00 ● 文章内容来源于小麦苗的学习笔记，部分整理自网络，若有侵权或不当之处还请谅解 ● 版权所有，欢迎分享本文，转载请保留出处 ........................................................................................................................ ● 小麦苗的微店 ： https://weidian.com/s/793741433?wfr=c&ifr=shopdetail ● 小麦苗出版的数据库类丛书 ： http://blog.itpub.net/26736162/viewspace-2142121/ ● 小麦苗OCP、OCM、高可用网络班 ： http://blog.itpub.net/26736162/viewspace-2148098/ ● 小麦苗腾讯课堂主页 ： https://lhr.ke.qq.com/ ........................................................................................................................ 使用 weixin客户端 扫描下面的二维码来关注小麦苗的weixin公众号（ xiaomaimiaolhr ）及QQ群（DBA宝典）、添加小麦苗weixin， 学习最实用的数据库技术。 ........................................................................................................................

 

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/26736162/viewspace-2644258/，如需转载，请注明出处，否则将追究法律责任。