爬虫的概念、工具和HTTP

一、什么是爬虫

爬虫就是模拟客户端（浏览器）发送网络请求，获取响应，按照规则提取数据的程序

模拟客户端（浏览器）发送网络请求：照着浏览器发送一模一样的请求，获取和浏览器一模一样的数据

二、爬虫数据去哪了

呈现出来，展现在网络上，展现在app上

进行分析：从数据中寻找一些规律

三、需要的软件和环境

python2.7

pycharm——python编辑器

chrome浏览器——分析网络请求用的

四、浏览器的请求

1.url地址

   在chorme中点击检查，点到network

   url =请求的协议+域名+路径+参数

看到百分号可以去站长工具：进行url解码

2.浏览器请求url地址

  当前url对应的响应+js+css+图片  ---》elements中的内容

3.爬虫请求的url地址

  当前url对应的响应

注意：elements的内容和爬虫获取到的url地址的响应不同，爬虫需要一当前url地址对应的响应为准提取数据

五、认识HTTP、HTTPS

1.HTTP:超文本传输协议（以明文的形式传输，效率高，但是不安全）

2.HTTPS:HTTP+SSL(安全套接字层)——（传输之前数据先加密之后解密获取内容，效率低，但是安全）

3.get请求和post请求的区别

get 请求没有请求体，post有，get请求把数据放到url地址中

post请求常用于注册

post请求携带的数据量比get请求大，多，常用于传输大文本的

4.HTTP协议之请求

1）请求行

2）请求头

User-Agent:用户代理（对方服务器能够通过user-agent知道当前请求对方资源的是什么浏览器）

Cookie:用来存储用户信息的，每次请求会被携带上发送给对方的浏览器

（要获取登录后的浏览器，对方会通过cookie来判断我们是不是一个爬虫）

请求体：get请求没有请求体，post请求有请求体，携带数据

5.HTTP协议之响应

1)响应头

Set-Cookie:对方服务器设置的cookie

2）响应体：url地址对应的响应