爬虫学习

近期在学习爬虫知识，写了一些爬虫，刚好很多人在研究抖音，于是看看。

分析接口和数据

要抓取到视频，首先需要对抖音的接口进行了解，然后尝试模拟请求：

1. 找到可以分析手机请求详情的工具，例如fiddler
2. 在手机进行点击操作
3. 过滤请求查找到关键接口请求
4. 分析接口数据；
5. 码代码；

例如我们打开抖音搜索一个用户，下面会出来很多用户信息

这时候开始监控接口请求了，监控好后点击一个用户，那就到了用户详情页，应该能获取到用户所有信息

看看接口信息

请求了几个接口，例如第一个是用户信息，第3个是首屏作品加载
看看用户请求的get参数

可以模拟请求一下，看看那些参数可以删除，那些参数必要
然后分析下返回的数据

这是返回的信息，user应该就是用户的所有信息了，展开看看

这样就可以码代码请求用户信息了

用户视频

这个请求就是视频加载的接口请求了
展开看看


该有的也都有，无水印的视频也有，那简单了，码代码直接模拟请求就可以了
首次加载貌似20个视频，以后每次加载10个，那循环请求就可以了，注意两个参数more和cursor



好啦，可以尽情的看完喜欢的抖音号里面的所有视频了。

结束

从网上找到一些学习代码，以及我自己写的一席代码在我的GitHub里面，大家可以交流一下 链接是https://github.com/yufei6808/Python-spider-lean/tree/master/douyin-spider

注意：学习归学习不能把视频抓下路做商业用途