Python-爬取影评 开启观影新方式!
先来看一下成果图:
下来我们就详细讲解一下如何高效快速完成爬取任务,文末附完整代码。
1、查找电影链接
在豆瓣网找到你想爬取的电影的链接(以《立春》为例),链接为:
https://movie.douban.com/subject/3036997/reviews?start=0
2、寻找网页源码规律
通过检查源码发现其隐藏规律!
3、正则表达式提取影评
按检查网页可发现,所有的文字都放在了一个content的div标签中;这样就很方便我们来提取!
4、保存本地
既然都爬取的,如果不保存本地的话那将毫无意义。首先我们可以创建一个文件夹:
然后利用for循环遍历将我们刚刚提取的文字,保存至这个csv文件就OK了!
5、生成词云
6、总结
选取网页+爬取网页+提取信息+保存信息+绘制词云
部分代码
好的,今天的内容结束了
如果对本次文章感兴趣
可以在后台回复:
爬取影评 获取原素材
青山不改,绿水长流,我们下篇见。