一、Scrapy 框架流程介绍
Scrapy框架
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。
Scrapy使用了Twisted异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件借口,可以灵活地完成各种需求。
Scrapy架构图:(很重要,有助于理解爬虫原理)
各个组件的作用:
Scrapy运作流程:(很形象)
注意:只有当调度器中不存在任何request了,整个程序才会停止。(也就是说,对于下载失败的URL,Scrapy也会重新下载)