爬虫: 浏览器的 User-Agent 信息

User-Agent:简称UA,它是一个特殊的字符串头,可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。在做爬虫时加上此信息,可以伪装为浏览器;如果不加,很可能会被识别出为爬虫。

确定自己浏览器的User-Agent信息:
步骤如下:

  1. 首先打开你的浏览器(本人使用的是google浏览器百度搜索引擎)输入:about:version
    爬虫: 浏览器的 User-Agent 信息
  2. 输入后,浏览器会跳出图中的界面,蓝色标出的“用户代理”一行就是浏览器的User-Agent
    爬虫: 浏览器的 User-Agent 信息
  3. 当python要浏览网页时,按图中headers的方法,即可获得浏览器的权限。
    爬虫: 浏览器的 User-Agent 信息