从零开始学爬虫(6)——爬虫学习流程以及爬虫的作用

一、爬虫学习流程

从零开始学爬虫(6)——爬虫学习流程以及爬虫的作用
在第四步中,还可能会涉及到MongoDB(一个介于关系型和非关系型数据库的产品,是非关系型数据库中功能最丰富的、最像关系型数据库的)

二、爬虫的用处

  • 大数据时代,获取数据(例如“微指数”网站)
  • 获取其他网站的资源(例如百度新闻“news.baidu.com”)
  • 模拟人使用网站上的功能(12306抢票、网站上的投票、短信轰炸)

三、爬虫的定义

网络爬虫(网络蜘蛛、网络机器人)就是模拟客户端发送网络请求,接受请求响应,一种按照一定规则,自动地抓取互联网信息的程序。

只要是浏览器能做的事情,原则上爬虫都能做。