您的位置: 首页 > 文章 > 一、Hadoop简介 一、Hadoop简介 分类: 文章 • 2023-03-26 19:40:41 一、Hadoop简介 Hadoop主要包括下面四个模块 Hadoop Common:一些公共类 Hadoop Distributed File System:分布式文件存储系统 Hadoop YARN:Job与集群资源的管理 Hadoop MapReduce:基于YARN的系统,并行处理大数据集合; 官网截图如下: hive:将mr程序封装成sql使用,学习成本低;后续用于构建data warehouse; habse:分布式数据库 spark:在线计算,效率比mr高,但IO消耗过多 zookeeper:开源界中分布式、高可用无其他对手