从fiddler安装到爬取抖音
一.安装fiddler
打开官网,官网下载地址是https://www.telerik.com/download/fiddler
然后傻瓜式安装,最后点击close就安装完成了。
二.配置fiddler
当你打开fiddler的时候会发现左侧很多锁的样式,查看response是一堆明显不是响应内容的英文,如下图所示
所以就需要设置fiddler解析这些加密请求:Tools > Options > HTTPS >勾选 上Decrypt HTTPS traffic option选项
接着安装证书
Actions>Trust Root Certificate然后全部选是
至此,fiddler可以监听浏览器的请求了
接着,配置监听移动端选项
三.模拟器配置
- 在计算机上下载一个360wifi(猎豹wifi,wifi共享大师随便一个)
- 本来我下载了一个夜神模拟器,但是连不上本机的wifi,所以建议用逍遥安卓模拟器
- 安装了逍遥模拟器之后在模拟器上安装抖音
- 模拟器连接本机wifi
如果浏览器连不上网:
到这里可能浏览器没有出现这个界面,可能会出现手机访问网页报错:net::ERR_PROXY_CONNECTION_FAILED;
那么需要继续配置fiddler。
首先,打开注册表(用cmd-regedit命令),在HKEY_CURRENT_USER\Software\Microsoft\Fiddler2下创建一个DWORD,值置为80(十进制)。
其次,编写fiddlerScript rule,点击Rules->Customize Rules,用Ctrl+F查找OnBeforeRequest方法添加一行代码
if (oSession.host.toLowerCase() == "webserver:8888")
{
oSession.host = "webserver:80";
}
最后,设置完之后重启Fiddler即可。
此时移动端就可以连上网了,再重复上面操作打开移动端浏览器下载证书即可。
四.爬取抖音
做完上述步骤之后,fiddler就可以监听移动端数据了,
添加上述代码后,关闭(不用重启Fiddler软件),刷新抖音视频,请求数据被保存。