Java——网络爬虫基础

网络爬虫

Java——网络爬虫基础

工作原理

Java——网络爬虫基础
Java——网络爬虫基础

Java——网络爬虫基础

网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:

  1. 通用网络爬虫(General Purpose Web Crawler)
  2. 聚焦网络爬虫(Focused Web Crawler)
  3. 增量式网络爬虫(Incremental Web Crawler)
  4. 深层网络爬虫(Deep Web Crawler)。
  5. 实际的网络爬虫系统通常是几种爬虫技术相结合实现的