您的位置: 首页  >  文章  >  分析Fiddler抓取的豆瓣开发的API接口详解

分析Fiddler抓取的豆瓣开发的API接口详解

分类: 文章 • 2025-04-20 12:43:52

一、Fiddler Web Sessions部分

1、豆瓣开发的API查询接口(GET类型的接口)：https://api.douban.com/v2/book/search?q=''

2、查询“挪威的森林”，使用Fiddler进行抓包

分析Fiddler抓取的豆瓣开发的API接口详解

3、如上图我们可以看到，抓到了一个JSON的包，

A、HTTP响应状态是200，

B、使用到的协议是HTTPS，

C、请求地址的域名是： api.douban.com；

D、请求服务器路径为：/v2/book/search?q=%27%E6%8C%AA%E5%A8%81%E7%9A%84%E6%A3%AE%E6%9E%97%27 

E、body请求的大小为：44572字节

F、请求的缓存过期时间或者缓存控制header等值（Caching）的信息为：

    • must-revalidate：响应会被重新用来满足接下来的请求，但是必须到服务器端去验证是否是最新的，
    • no-cache：响应不会被缓存
    • private：响应只能够作为私有的缓存，不能再用户间共享
J、请求响应的类型（Content-Type）：application/json; charset=utf-8
H、发出此请求的Windows进程及进程ID（Process）：Chrome：3784

二、Request部分

分析Fiddler抓取的豆瓣开发的API接口详解

1、Headers

  • 请求头：get方法+空格+请求服务器路径+空格+协议版本
  • Cache-Control：max-age=0表示：每次重新访问服务器
  • 客户端能够接受的内容类型（Accept）：text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
  • 指定浏览器可以支持的web服务器返回内容压缩编码类型（Accept-Encoding）：gzip, deflate, br
  • 浏览器可接受的语言（Accept-Language）：zh-CN,zh;q=0.8
  • 请求的用户信息（Usr-Agent）：Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
  • Cookies（请求发送时，把该请求域名下的所有cookie值一起发送给web服务器）：

         __utma=30149280.1842889463.1506072170.1506072170.1506072170.1  

__utma：用来记录网站访问者的来源，
第一个数（30149280）：表示域名的HASH串，对于一个确定的域名来说，这个值不会改变
第二个数（1842889463）：识别访客的ID，不同的值意味着不同的访问者
第三个数（1506072170）：访客第一次访问网站的时间，时间为UNIX时间
第四个数（1506072170）：访客前一个visit开始的时间
第五个数（1506072170）：这个访客这一次visit开始的时间
第六个数（1）：记录这个访客访问网站的次数

    _utmz

  30149280.1506072170.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic
第一个数（30149280）：表示域名的HASH值
第二个数（1842889463）：表示随机数字，是用_ust=Math.round((new Date()).getTime()/1000); 计算出来的
第三个数（1）：是__utma的第六个固定常量
第四个数（1）：这个访问者通过不同个来源（除了直接来源）访问网站的来源数
第五个数（utmcsr=baidu|utmccn=(organic)|utmcmd=organic）：表示来源等信息，如搜索引擎是百度，

  • security
Upgrade-Insecure-Request:1---如果在https的页面需要加载http的资源，那么浏览器就会报错或者提示，为了促进用户升级协议，同时不需要网站开发者劳师   动众地把整个网站的http资源改成https资源，chrome增加一个Upgrade-Insecure-Requests: 1头，告诉服务器，浏览器可以处   理https协议，然后服务器返回Content-Security-Policy: upgrade-insecure-requests头，或者通过meta头设置，告诉浏览器，对   于页面的http资源，请求时可以自动升级到https。
  • transport
Connection:Keep-Alive---表示长连接
Host：域名是：api.douban.com


2、WebForms

q=‘挪威的森林’：搜索的关键字是挪威的森林

3、Cookies

分析Fiddler抓取的豆瓣开发的API接口详解

请求发送的Cookie数据为155byte

4、Raw

分析Fiddler抓取的豆瓣开发的API接口详解

  • 请求行：GET https://api.douban.com/v2/book/search?q=%27%E6%8C%AA%E5%A8%81%E7%9A%84%E6%A3%AE%E6%9E%97%27 HTTP/1.1
  • 请求头部：

Host: api.douban.com

Connection: keep-alive

Cache-Control: max-age=0

Upgrade-Insecure-Requests: 1

User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8

Accept-Encoding: gzip, deflate, br

Accept-Language: zh-CN,zh;q=0.8

Cookie: bid=nCTKzrzAtIA; __utma=30149280.1842889463.1506072170.1506072170.1506072170.1; __utmz=30149280.1506072170.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic


  • 请求正文
Get请求没有请求正文

三、Response部分


1、Headers

分析Fiddler抓取的豆瓣开发的API接口详解

  • HTTP/1.1 200 OK：请求成功
  • Cache-Control:must-revalidate, no-cache, private：访问时都会重新访问服务器
  • Date：Sat, 30 Sep 2017....GMT：访问时间

2、Json

分析Fiddler抓取的豆瓣开发的API接口详解

显示这本书的一些信息，如这本书在豆瓣的那里：https://book.douban.com/subject/1046265/，作者的一些信息等

３、Raw

分析Fiddler抓取的豆瓣开发的API接口详解









相关推荐