爬虫小计（charles抓取wss数据--yy数据爬取）
背景
- 爬取一个直播平台的信息与一个普通网站的数据
- 直播平台的信息有热门主播的在线人数，时常，与热门直播的礼物情况（粉丝的人物画像）
难点
- 打赏礼物的人物画像
- https
- wss（数据的实时性），需要模拟匿名用户的访问，某直播网站的wss数据又是二进制数据
- 头大的js代码，无限多，无限长
分析
- 一般普通数据用java jsoup来解决
- wss的数据需要先模拟匿名登录，拿到binary data。然后再来分析网站的js代码，进行解析。
找工具
- chrome 开发者工具，f12 ws选择只能看到frames在走动与我们两个互不认识的binary。
- wireshark，伤心本来报很大希望但是无法通过websocket方式来搜索出来，而且即时分析出来，我估计也不知道如何截取，这个后面再做研究如何使用，看到有人说直接搜websocket是可以看到的。但是通过websocket filter我真的找不到自己想要的数据。除非通过ip.addr ip.src 等等
- charles，无意中发现的。真如其名，charles。虽然开始也用不好，但是最后还是搞定了，下面具体说说如何使用的吧。
charles工具
- 先**
// Charles Proxy License
// 适用于Charles任意版本的***，谁还会想要使用**版呢。
// Charles 4.2目前是最新版，可用。
Registered Name: https://zhile.io
License Key: 48891cf209c6d32bf4
- 安装 ssl证书支持
help->SSL proxying->install charles root certificate
下面这篇文章说的非常好
https://www.cnblogs.com/ceshijiagoushi/p/6812493.html
- 设置代理，同样是上面的文章，不过我建议使用 *:443
查看结果
- 在浏览器上访问你要访问的网站
- 普通的https网页已经在后侧可以看到内容了
- 同样wss的抓取也出来，但是具体的binary data。还是需要自己分析的哦
目前使数据可以抓取到，接下来就是需要对二进制数据进行分析解析，获取有价值数据。
原创文章，版权所有，禁止抄袭，违者必究！！！转载请注明出处！！！技术需要请联系[email protected]