python 带header的http请求(以requests.get为例)
我们可以用python中的
requests.get(url, header=header)
来请求网页。
url参数：为请求的网址
header：放入请求这个网址需要的其他信息。
加入header作用举例
比如一个网址的访问需要权限，我们就可以在header的Cookie中放入请求过程中的权限验证信息；
比如当一个网址中具有反爬虫机制时，由于爬虫多直接由python脚本直接访问网页，部分企业也就由此建立了识别来访者是否为Python脚本访问，我们可以使用伪装浏览器的方式对此种防御方式进行**，常常通过在header中将user_agent为一个真实的浏览器代理名称。
如何获得访问地址的header
- 打开谷歌浏览器
- 输入需要访问的网址
- 鼠标右键，选择–检测(N)
- 选右侧分屏的network，并刷新左侧网页
- 右侧滑动条拖到顶端，选第一行，就可看到请求的header