Scrapy框架结构及工作原理

话不多说，先上图1

首先，简单了解一下Scrapy框架中的各个组件

对于用户来说，Spider是最核心的组件，Scrapy爬虫开发是围绕实现Spider展开的。
接下来，看一下在框架中的数据流，有下表所示的3种对象。

Request和Response是HTTP协议中的术语，即HTTP请求和HTTP响应，Scrapy框架中定义了相应的Request和Response类，这里的Item代表Spider从页面中爬取的一项数据。
最后，我们来说明以上几种对象在框架中的流动过程。
● 当SPIDER要爬取某URL地址的页面时，需使用该URL构造一个Request对象，提交给ENGINE（图1中的1）。
● Request对象随后进入SCHEDULER按某种算法进行排队，之后的某个时刻SCHEDULER将其出队，送往DOWNLOADER（图1中的2、3、4）。
● DOWNLOADER根据Request对象中的URL地址发送一次HTTP请求到网站服务器，之后用服务器返回的HTTP响应构造出个
Response对象，其中包含页面的HTML文本（图1中的5）。
● Response对象最终会被递送给SPIDER的页面解析函数（构造Request对象时指定）进行处理，页面解析函数从页面中提取数据，封装成Item后提交给ENGINE，Item之后被送往ITEM PIPELINES进行处理，最终可能由EXPORTER（图1中没有显示）以某种数据格式写入文件（csv，json）；另一方面，页面解析函数还从页面中提取链接（URL），构造出新的Request
对象提交给ENGINE（图1中的6、7、8）。
理解了框架中的数据流，也就理解了Scrapy爬虫的工作原理。如果把框架中的组件比作人体的各个器官，Request和Response对象便是血液，Item则是代谢产物。