python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)

python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)

HTTP代理神器Fiddler

Fiddler是一款强大Web调试工具,它能记录所有客户端和服务器的HTTP请求。 Fiddler启动的时候,默认IE的代理设为了127.0.0.1:8888,而其他浏览器是需要手动设置。

工作原理

Fiddler 是以代理web服务器的形式工作的,它使用代理地址:127.0.0.1,端口:8888

python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)

Fiddler抓取HTTPS设置

启动Fiddler,打开菜单栏中的 Tools > Telerik Fiddler Options,打开“Fiddler Options”对话框。
python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)
对Fiddler进行设置:

打开工具栏->Tools->Fiddler Options->HTTPS,
选中Capture HTTPS CONNECTs (捕捉HTTPS连接),
选中Decrypt HTTPS traffic(解密HTTPS通信)
另外我们要用Fiddler获取本机所有进程的HTTPS请求,所以中间的下拉菜单中选中…from all processes (从所有进程)
选中下方Ignore server certificate errors(忽略服务器证书错误)
python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)
为 Fiddler 配置Windows信任这个根证书解决安全警告:Trust Root Certificate(受信任的根证书)。
python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)
Fiddler 主菜单 Tools -> Fiddler Options…-> Connections

选中Allow remote computers to connect(允许远程连接)
Act as system proxy on startup(作为系统启动代理)
python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)
重启Fiddler,使配置生效(这一步很重要,必须做)。

Fiddler 如何捕获Chrome的会话

安装SwitchyOmega 代理管理 Chrome 浏览器插件
python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)
如图所示,设置代理服务器为127.0.0.1:8888
python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)
通过浏览器插件切换为设置好的代理。
python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)

Fiddler界面

设置好后,本机HTTP通信都会经过127.0.0.1:8888代理,也就会被Fiddler拦截到。
python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)

请求 (Request) 部分详解

python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)

响应 (Response) 部分详解

python爬虫学习笔记 1.6 (HTTP/HTTPS抓包工具-Fiddler)