爬虫基础
爬虫的组成：爬虫节点和控制节点
控制节点之间可以相互通信，控制节点与其下的爬虫节点可以相互通信，同一个控制节点下的爬虫节点可以相互通信
网络爬虫的类型：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫，深层网络爬虫
通用网络爬虫：
1.获取初始的URL
2.根据初始的URL爬取页面并获得新的URL。将爬取的网页存储到原始数据库中，并且在爬取网页的同时，发现新的URL地址，将已爬取的URL地址存放到一个URL列表中，用于去重及判断爬取的进程。
3.将新的URL放到URL队列中，重复第二步。
4.满足爬虫系统设置的停止条件时，停止爬取。
聚焦网络爬虫
1.对爬虫目标的定义和描述。
2.获取初始URL.
` 3.根据初始的URL爬取页面，并获得新的URL。
4.从新的URL中过滤掉与爬取目标无关的链接。
5.将过滤后的链接放到URL队列中。
6.从URL队列中，根据搜索算法，确定URL的优先级，并确定下一步要爬取的URL地址。
7.从下一步哟啊爬取的URL中读取新的URL，并进行爬取。
8.满足系统中设置的停止条件时，或无法获取新的URL地址时，停止爬取。
爬取策略：深度优先爬取策略、广度优先爬取策略、大站优先策略、反链策略