机智的爬取新浪微博的微博内容
当你想看一个明星的微博的时候 嫌他加载翻页太麻烦,怎么办?那就爬取到本地自己慢慢看啊!
比如 我们现在想要这个首页都发什么微博了
当爬虫程序员熟练地打开F12 然后看看获取的请求之后 发现事情不是那么简单,
这首页给咱们返回来的不出所料是一个动态页面,用js渲染的,这时候爬虫程序员又机智的打开了XHR去捕获json信息,
我去,这怎么就传了一个标识身份的数据啊,我们要的内容呢,我现在也没搞明白微博到底把Ajax请求传的数据藏到哪去了。。因为他是根据每个用户提供的首页 肯定是要用Ajax传输数据的 但是我就是找不到。不过问题不大,当我们把他变成手机端之后,我们发现了新大陆
这不就是我们要的请求么
那么我们就可以爬取到微博的内容了啊