盘点HTTP请求头、响应头的一些参数说明

分类: 文章 • 2023-03-23 11:22:19

我们知道，从用户请求的headers进行反爬虫，是最常见的反爬虫策略。很多网站都会对headers的User-Agent进行检测，还有的网站针对Referer进行检测（一些资源网站的防盗链就是检测Referer），还有一些网站需要对cookies进行检测等等。所以，headers的设置虽然很基础，但对于爬虫策略来说也很重要，我们一起来看看关于headers的一些参数说明吧。