您的位置: 首页  >  文章  >  Scrapy框架（六）——Middleware

Scrapy框架（六）——Middleware

分类: 文章 • 2024-01-28 17:22:22

Scrapy框架（六）——Middleware

Middleware其实是一个轻量级、较底层的钩子框架，用来全局的去处理相对应的内容。Scrapy中主要有两种Middleware，一种是Downloader Middleware，一种是Spider Middleware。

下载中间件

下载中间件是scrapy提供用于用于在爬虫过程中可修改Request和Response，用于扩展scrapy的功能；Downloader Middleware处于Downloader和引擎之间，所以它可以处理Request和Response是进出Downloader的。

我们常用这个中间件来为请求头增加一些信息或者对返回信息进行解压处理。

启用下载中间件

我们要启用一个Downloader Middleware，需要在settings中进行相应的设置，如下是一个简单例子：

# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
   'douban.middlewares.DoubanDownloaderMiddleware': 543,
}

这个字典的键名是Downloader Middleware类的路径，值是其优先级。DOWNLOADER_MIDDLEWARES设置将会与默认的DOWNLOADER_MIDDLEWARES_BASE混合，然后按照对应的优先级进行排序。优先级数值越小，越靠近引擎这边，数值越大，越靠近Downloader一端。

Scrapy框架也会默认开启下载中间件，如下所示：

{
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
    'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
    'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
    'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
    'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560,
    'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
    'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
    'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
    'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
    'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}

如果想要关闭DOWNLOADER_MIDDLEWARES_BASE中某些中间件，那么你可以在DOWNLOADER_MIDDLEWARES中将其值设置为None。

下载中间件三大函数

三大函数的构造默认已经写好，我们自需向其填入自定义功能即可。

  • process_request(request, spider)

当每个Request对象经过下载中间件时会被调用，优先级越高的中间件，越先调用；该方法应该返回以下对象：None/Response对象/Request对象/抛出IgnoreRequest异常；

  1. None：Scrapy会继续往下处理这个request，执行接下来的其他Middleware，最终下载这个request并获得response。
  2. Response：Scrapy会中断对这个Request的后续处理，不再调用后续的process_request()和process_exception()。Scrapy会调用所有启用的Middleware中的process_response()来处理这个Response。
  3. Request：scrapy不会再调用其他中间件的process_request()方法，而是将其放置调度器待调度下载；
  4. IgnoreRequest：已安装中间件的process_exception()会被调用，如果它们没有捕获该异常，则Request.errback会被调用；如果再没被处理，它会被忽略，且不会写进日志。
  • process_response(request, response, spider)

当每个Response经过下载中间件会被调用，优先级数值越底的中间件，越晚被调用，与process_request()相反；该方法返回以下对象：Response对象/Request对象/抛出IgnoreRequest异常。

  1. Response：如果返回的是Response，那么Scrapy将会继续调用下一个Middleware中的process_response()方法进行处理。

  2. Request：Scrapy将会中断对Response的处理，并将返回的Request重新进行调度。与process_request()中返回Request的处理方式是一样的。

  3. IgnoreRequest：如果在方法中抛出了一个IgnoreRequest异常，那么Request自带的异常处理函数(Request.errback)会被调用。如果没有任何代码处理这个异常，那么这个Request将被忽略并且不会被记录。

  • process_exception(request, exception, spider)

​​​​​​​当process_exception()和process_request()抛出异常时会被调用，应该返回以下对象：None/Response对象/Request对象；

  1. None：如果返回的是None，Scrapy将会继续调用启用的Middleware中的process_exception()来处理异常。当所有剩下的process_exception()都调用完毕后，会使用默认的异常处理。
  2. Response：如果返回的是一个Response对象，那么Scrapy将会中断异常的处理，重新调用所有启用的Middleware中的process_response()来处理返回的这个Response。
  3. Request：如果返回的是一个Request对象，那么Scrapy将会中断异常的处理，重新调用所有启用的Middleware中的process_request()来处理返回的这个Request。

爬虫中间件

爬虫中间件与下载中间件的作用都是对经过的数据进行处理，只不过爬虫中间件的位置处于Spider与引擎之间，主要处理Spider的输入和输出。相对于下载中间件来说，爬虫中间件使用的较少。

爬虫中间件（Spider Middleware）与下载中间件（Downloader Middleware）最主要的区别是，下载中间件处理的是进Downloader的Request和Response，爬虫中间件处理的，主要是从Downloader返回的Response和Spider生成的Request和Item。

可以看到，在处理Response这里，下载中间件和爬虫中间件是有一定的功能重叠的。但是在处理Request的时候，两者之间其实还间隔着一个调度器（Scheduler），所以这里处理的Request还有着未经调度器处理，和已经经过调度器处理的区别。并且，爬虫中间件还能处理Spider生成的Item。

启用爬虫中间件

# Enable or disable spider middlewares
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
SPIDER_MIDDLEWARES = {
   'douban.middlewares.DoubanSpiderMiddleware': 543,
}

爬虫中间件同样有一部分已经默认启用的基础中间件SPIDER_MIDDLEWARES_BASE：

{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
    'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}

爬虫中间件三大函数

  • process_spider_input(response, spider)

从名字就可以看出（”处理进入spider的输入“）， ​​​​​​​这个方法将会在Response传入Spider之前调用，来处理这个Response。它将会返回一个None或异常。

  1. None：如果返回的是None的话，Scrapy将会调用接下来的Middleware继续处理Response。
  2. 抛出异常：如果这个方法抛出的是一个异常的话，Scrapy将会停止处理这个Response。并调用Request对应的异常处理函数。
  • process_spider_output(response, result, spider)

这个方法会在Spider返回结果时调用，用来处理Spider返回的Request，dict或者Item，参数result就是spider返回的结果。

  • process_spider_exception(response, exception, spider)

​​​​​​​在Spider或者process_spider_input()中抛出异常时，将会调用此方法来处理异常。这个方法返回的结果有None和包含Request，dict或者Item的可迭代对象。

  1. None：如果返回的是None，那么Scrapy将会继续调用接下来的Midleware中的process_spider_exception()方法来处理异常。
  2. 包含Request，dict或者Item的可迭代对象：如果返回的是一个包含Request，dict或者Item的可迭代对象，那么异常处理将会被中断。转而开始调用process_spider_output()方法。

 

案例

自定义用户代理池​​​​​​​

 

 

相关推荐