[玛祖采集]python爬虫 实践 appstore应用评论数据抓取 突破500限制
[玛祖采集]python爬虫 appstore应用评论数据抓取
学生客户的需求,他们老板安排 抓到某APP在AppStore上的评论 语义分析判断 这款app的使用体验情况 AppStore其实本身有开放api接口,但是限制太多只能爬到十页,即是500条评论 所以我就帮他想到办法 抓到全国的的数据.....哦不 是全球的评论 哈哈哈哈!
先上效果图
主要思路是找到第三方平台,他们已经把应用市场的数据 爬下来了.我们做的是爬第三方的数据,哈哈哈哈
这样又遵循 robots协议 又能拿到数据,开心!!
部分代码
完整代码备份上传到GitHub上了
其他相关爬虫案例可以在blog看到 嘻嘻
想了解更多的欢迎在下面的联系方式connect me
加好友请备注: 数据
VX: umakedown
邮箱: [email protected]
github: https://github.com/ChanJeff123