Scrapy 爬取京东商城华为全系列手机评论
向AI转型的程序员都关注了这个号????????????
机器学习AI算法工程 公众号： datayx
大致分析了下京东评论 相同手机型号的产品用的评论都是一样的,所以每个型号的爬一个就可以了;
完整代码下载地址：
关注微信公众号 datayx 然后回复 华为 即可获取
每个型号的找一个主页,爬取评论
对应的html代码,用beautisoup分析网页,得到手机型号和herf
代码实现:
Start_requests:这里用的方法比较简单就是遍历循环,根据url三个参数,
爬取每个手机型号的,好中差评评论,最后通过pipelines存入mongodb:
爬到的数据
阅读过本文的人还看了以下：
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx
长按图片，识别二维码，点关注