Python数据分析_第二篇 网页爬虫（1）_豆瓣页面解析

分析URL

• start:从第几条开始展示，豆瓣影评每一页都是20条评论，所以start应该是20的倍数。
• limit:这个限制了每页显示多少评论，但修改数值也没用。
• sort:根据热门/最新/好友进行排序， 这里我选择了热门。
• status：P/F代表看过和想看，我选择了想看。
• percent_type:影评类型，h/m/l分别代表好评/一般/差评，是我们需要修改的。

根据参数分析，我们得到BASE_URL应该是：

BASE_URL = 'https://movie.douban.com/subject/33404425/comments?start={}&limit=20&sort=new_score&status=P&percent_type={}'

页面解析

我使用的是Chrome浏览器，Ctrl+U显示网页源码，可以发现豆瓣影评部分并没有使用JS动态更新，所以我们可以直接对源码进行解析。

HTML<div>元素：定义文档中的分区或节（division/section）【块级元素，它是可用于组合HTML元素的容器】

HTML<span>元素：定义span，用来组合文档中的行内元素【内联元素，可用作文本的容器】