大数据技术原理与应用 第一章 大数据概述

最近在学习厦门大学林子雨老师开讲的一门课程 —— 大数据技术原理与应用,决定开始做一下学习笔记。

参考材料:http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0

1. 大数据4V特征

大数据具有数据量大(Volume)、数据类型繁多(Variety)、处理速度快(Velocity)、价值密度低(Value)等特点,统称“4V”。

2. 大数据的两大核心技术

分布式存储和分布式处理

大数据技术原理与应用 第一章 大数据概述

3. 大数据计算模式

大数据计算模式 解决问题 代表产品
批处理计算 针对大规模数据的批量处理 MapReduce、Spark等
流计算 针对流数据的实时计算 Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
图计算 针对大规模图结构数据的处理 Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查询分析计算 大规模数据的存储管理和查询分析 Dremel、Hive、Cassandra、Impala等

对于批处理计算,它没有办法提供秒级服务,也就是它不能用于实时计算。

4. 云计算

大数据技术原理与应用 第一章 大数据概述

5. 大数据与云计算、物联网的关系

大数据技术原理与应用 第一章 大数据概述