爬虫

爬虫

scheme:协议(例如:http,https,ftp)
host:服务器的IP地址或者域名
port: 服务器的端口(如果走下而已默认端口,80 or 443)
path:访问资源的路径
query-string:参数 发送给HTTP服务器的数据
anchor: 锚(跳转到网页的指定锚点位置)

Host:(主机和端口)
Connection:(链接类型)
Upgrade-Insecure-Requests(升级为Https请求)
User -Agent(浏览器名称)
Accept(传输文件类型)
Referer(页面跳转处)
Accept-Encoding(文件编解码格式)
Cookie(Cookie)
x-requested-with:XMLHttpRequest(是Ajax异步请求)

GET
POST

200:成功
302:临时转移至新的url
307:临时转移至新的url
404:not found
500:服务器内部错误

爬虫