Python Requests库

简介:通过 requests 类库的学习,理解 HTTP 基本原理,并能够纯熟地使用 requestsGithub API 进行数据交互。除此之外,你还能够获得诸如 HTTP 认证,Oauth 授权等进阶知识和技能

1. 走进 Requests 库

1.1 Requests 库 – 学习路线图

  1. 总体介绍
    – 背景,相应的软件,布置环境
  2. HTTP 基本原理
    – Request 库建立在 HTTP 协议的上面
  3. 发送请求 Request
  4. 接受响应 Response
  5. 进阶话题

1.2 认识 Requests 库

  1. 文档地址: http://docs.python-requests.org/en/master/
  2. 项目地址: https://github.com/requests/requests

1.3 学好 Requests 库的意义

  1. 这是一个 Web 时代, Web as a DB
  2. 爬虫必备法器,定期在微博上爬妹子数据,获取第一手资讯
  3. 服务器编程基础( Restful API )
  4. 自动化测试的工具箱

1.4 Requests 库 – 环境准备

  • gunicorn
  • Request
  • httpbin
  • Virtualenv
  • Pip
  • Python

2. 了解 HTTP 协议

2.1 Requests 库 – 了解 HTTP 协议原理

Python Requests库

了解 Request 请求:

Python Requests库

了解 Response 请求:

Python Requests库

了解 message body

Python Requests库

2.2 Requests 库 – 简单的小程序 – urllib

2.2.1 使用 urllib

urlliburllib2urllib3 是进化关系吗?

不是,urlliburllib2是相互独立的模块

requests 库使用了 urllib3,(多次请求重复使用一个 socket

2.2.2 使用 requests

2.3 Requests 库 – 简单的小程序 – requests

3. 发送请求

3.1 Requests 库 – 请求方法

3.2 Requests 库 – 带参数的请求

3.3 Requests 库 – 请求异常处理

3.4 自定义 Request

4. 处理响应

4.1 Requests 库 – 响应基本 api

4.2 Requests 库 – 下载图片

4.3 Requests 库 – 事件钩子

5. 进阶话题

5.1 Requests 库 – HTTP 认证

5.2 Requests 库 – Proxy 代理

5.3 Requests 库 – Session 和 Cookies