python3爬虫攻略(3):利用Fidder抓包!
上一篇我们使用了POST,其中涉及到表单数据的提交,那么表单数据的格式从哪里来呢?
当然是使用Fiddle抓包咯!
Fiddler安装包和switchyomega插件(如果失效的话只能自己去找咯!)
链接:http://pan.baidu.com/s/1eSCNWky 密码:dtc4
Fiddler用来抓取浏览器的http请求,而switchyomega则用来管理代理设置。
首先安装Fiddler,这里不做多的介绍。
然后讲一讲Fiddler设置
启动Fiddler,打开菜单栏中的 Tools >
Telerik Fiddler Options,打开“Fiddler Options”对话框。
打开工具栏->Tools->Fiddler Options->HTTPS,
选中Capture HTTPS CONNECTs (捕捉HTTPS连接),
选中Decrypt HTTPS traffic(解密HTTPS通信)
另外我们要用Fiddler获取本机所有进程的HTTPS请求,所以中间的下拉菜单中选中...from all processes (从所有进程)
选中下方Ignore server certificate errors(忽略服务器证书错误)
为
Fiddler 配置Windows信任这个根证书解决安全警告:Trust Root Certificate(受信任的根证书)
Fiddler 主菜单 Tools -> Fiddler Options…-> Connections
选中Allow remote computers to connect(允许远程连接)
Act as system proxy on startup(作为系统启动代理)
重启Fiddler,即可生效!
安装SwitchyOmega ,让fiddler能够捕捉chrome的会话
设置代理服务器为127.0.0.1:8888
当我们在百度翻译中使用翻译时:
fiddler捕获的数据如下
(注意那个表单是不是和我们前一次代码里写的一模一样!)
发送表单的请求地址
然后我们就可以利用这个表单和请求地址给百度翻译发送更多的请求,甚至可以实现一个自己的简单的翻译小程序!
未完待续…………………………