爬虫抓取新浪微博数据
工具：云采爬虫
目标：抓取某个博主的全部微博
分析网页结构：
我们抓取的思路是模拟浏览器自动访问页面抓取。
我们来看一下页面结构，首先每个微博列表，必须进行三四次的下拉加载，然后底部有个“下一页”的按钮。
如此，不断循环。
登录的问题
抓取需要登录账号，如何登录呢？
登录是不需要验证码的，如果你输入错了，才会叫你输入验证码，所以登录是没什么技术难度的。
流程图设计：
整个流程图的思路基本上是这样：
登录---下拉---下拉---下拉---点击下一页
我们不需要微博的详情页。所以整个爬虫的流程是没有详情页的，数据都从列表里面提取。
爬取结果：
我自己爬取了自己的微博，数据如下：
做个简单的词云：
结论：
模拟浏览器抓取基本上没什么难度，可能有些人不用浏览器抓取也可以，主要是分析网页结构会很头疼，包括如何构造下一页的地址，这些都是非常繁琐耗费精力的。
浏览器抓取虽然耗费点性能，但是人的时间不是最宝贵的吗？机器的时间倒是不怎么值钱。