Python爬虫（二）

1.http协议

• 概念：是服务器和客户端进行数据交互的一种形式。

2.常用请求头信息

• User-Agent：请求载体的身份标识

3.获取User-Agent

• 打开浏览器
• 右击检查
• 点击network

• 点击刷新页面

• 点击一个文件进入

4.Connection

• 请求完毕后，是断开连接还是保持连接。

5.常用响应头信息

• Content-Type：服务器响应会客户端的数据类型

6.https协议

• 安全的http（超文本传输）协议：对传输的数据进行加密。

7.加密方式

• 对称**加密

以一个具体例子来说明有助于真正理解对称加密这概念。假设A需要把一份明文为M的资料发给B，但是因为怕资料在传输的中途被窃听或者篡改，A用了对称加密法将M经过一个加密函数f处理后生成M’加密，而B接受到加密文后通过事先商定好的f 再次处理M’便可以还原成明文M，从而达到安全传输信息的目的。

• 非对称**加密

与对称**加密相比，优点在于无需共享的通用**，解密的私钥不发往任何用户。即使公钥在网上被截获，如果没有与其匹配的私钥，也无法解密，所截获的公钥是没有任何用处的。

它可以很好地适应开放性的使用环境。因为**管理相对简单，可方便地实现数字签名和验证，对解决电子商务活动中的“瓶颈”，如对传输数据进行加密、数字签名、公证的方法等，很有实用价值。

• 证书**加密

证书也叫CA(Certification Authority)证书；**就是用来加解密用的文件或者字符串；rsa即非对称加密算法。