五. 大数据技术之Hadoop（1）

大数据概念

巨量数据集合，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合

4V 特性：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）

网上对于大数据概念的叙述有很多，这里不多做叙述

大数据要解决的核心问题

大量的数据如何存储（分布式文件系统HDFS）

大量的数据如何计算（分布式计算MapReduce）

举例：商品推荐：大量的订单如何存储？大量的订单如何计算？ 天气预报数据：大量的天气数据如何存储？大量的天气数据如何计算

hadoop在宏观上可以看作是一种数据仓库的实现方式，所有黑色部分是传统数据仓库实现方式，红色部分是大数据数据仓库实现方式，大数据处理数据方式与传统数据大致相同，分为数据的采集（大数据一般是用sqoop，flume组件），数据的分析与处理（大数据使用MapReduce,Spark Core,  传统数据使用SQL语句），数据的输出

HDFS: 大数据的存储，分布式文件系统

HBase: 大数据中NoSQL数据库，基于BigTable的实现

MapReduce(yarn): 分布式计算，yarn表示大数据资源调度工具

Hue: 大数据中基于web的管理工具，提供用户web界面管理

Hive, Pig: 大数据数据分析引擎

Sqoop, flume: 数据采集工具（flume一般用于采集日志）

ZooKeeper: 大数据管理工具，实现高可用，负载均衡