爬取今日头条收藏夹文章列表信息

从了解Python到决定做这个项目,从临近期末考试到放假在家,利用零碎的时间持续了一个月吧。完成这个项目我用了三个阶段

阶段一:

了解Python,开始学习Python的基本语法,观看相关爬虫视频,了解到爬取网页信息的简单措施

阶段二:

开始着手分析头条收藏夹页面。

头条收藏夹地址格式:

爬取今日头条收藏夹文章列表信息

地址中有三个变量参数,as,cp,max_repin_time,as,cp在页面内可以找到源码,是基于对当前时间戳加密得到的,max_repin_time是指向下一页面URL的关键值,从页面数据列的最后一项中获取

爬取今日头条收藏夹文章列表信息

阶段三:爬取收藏夹内所有文章的分类,标题,作者,发布时间,源地址,并存入EXCEL文件中

获取AS,CP参数

爬取今日头条收藏夹文章列表信息

将时间戳转当地时间

爬取今日头条收藏夹文章列表信息

使用代理

爬取今日头条收藏夹文章列表信息

主文件

爬取今日头条收藏夹文章列表信息

成功输出文件爬取今日头条收藏夹文章列表信息

2018年2月7日 22:58