爬虫（一）：python requests库模拟浏览器请求网页
在大家用爬虫请求数据时会有一下情况，或者直接的403，这是读取访问被禁止！
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx</center>
</body>
</html>
这时我们需要模拟浏览器来请求（我使用的是谷歌）
import requests
url = 'http://www.whatismyip.com' #请求地址
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}#创建头部信息
response = requests.get(url,headers = headers) #发送网络请求
print(response.content.decode('utf-8'))#以字节流形式打印网页源码
这里我请求的这个网址是来测IP的网址