python自学笔记(网络爬虫1)

一.requests库的安装

(1)安装好python后,用win+R打开命令行(管理员权限),将路径转到python/scripts目录下;

使用.\pip install requsts 安装requests库。

python自学笔记(网络爬虫1)

 二.requests库的简单使用方法

1.(1)r = requests.get (url)构造一个请求资源的Request对象

(2)返回一个包含服务器资源的Response对象(包含了爬虫返回的全部内容)。

(3)request的完整使用方法有3个参数包括URl(获得页面的链接),params(URL中额外参数,字典或者字节流格式),**kwarge(12个控制访问的参数)

2.Response对象的属性

(1)r.status_code:HTTP请求的返回状态,200表示链接成功,404表示失败

(2)r.text:HTTP响应内容的字符串形式。

(3)r.encoding:从HTTP header中猜测的响应内容编码方式。

(4)r.apparent_encoding:从内容中分析出响应内容的编码方式。

(5)rcontent:HTTP响应内容的二进制形式。