大数据是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”

大数据的意义

第一次工业革命：煤炭为基础，蒸汽机和印刷术为标志；

第二次工业革命：石油为基础，内燃机和电信技术为标志；

第三次工业革命：核能基础，互联网技术为标志；

第四次工业革命：可再生能源为基础，数据和内容作为互联网的核心为标志。

大数据的类型

1、传统企业数据：包括CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。

2、机器和传感器数据：包括呼叫记录，智能仪表，工业设备传感器，设备日志交易数据等。

3、社交数据：包括用户行为记录，反馈数据等。

大数据挖掘商业价值的方法

1、客户群体细分：为每个群体量身定制特别的服务；

2、加强部门联系：提高整条管理链条和产业链条的效率；

3、模拟现实环境：发掘新的需求同时提高投资的回报率；

4、降低服务成本：发现隐藏线索进行产品和服务的创新。

大数据的特征

1、数据体量巨大：人类生产的所有印刷才来偶的数量是200PB，而历史上全人类说过的所有话的数量大约是5EB（1EB=210PB）；

2、价值密度低：价值密度的高低与数据总量的大小成反比，如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下待解决的难题。

3、数据类型繁多：相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高的要求。

4、处理速度快：大数据区分于传统数据挖掘的最显著特征。

 

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：199427210，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系
 

大数据的学习体系路线学习

 

学习路线：

（一）Linux理论 （Linux基础 Linux-shell编程 高并发:lvs负载均衡 高可用&反向代理）

（二）Hadoop理论 （hadoop-hdfs理论 hadoop-hdfs集群搭建 hadoop-hdfs 2.x & api hadoop-MR理论 hadoop-MR开发&源码分析 hadoop-MR源码分析 hadoop-MR开发案例 hadoop-MR开发案例）

（三）Hive理论 （Hive介绍以及安装 Hive实战 ）

（四）HBase理论 （HBase介绍以及安装 HBase调优 ）

（五）Hadoop项目 （项目需求分析 项目准备 数据采集以及清洗 项目代码实现以及优化 项目架构扩展以及组件整合 ）

（六）redis理论 （redis类型 redis高级）

（七）Zookeeper理论 （Zookeeper介绍 Zookeeper使用 ）

（八）Scala语法 （Scala语法介绍 scala语法实战 ）

（九）Spark理论 （Spark介绍 Spark代码开发流程 Spark集群搭建 Spark资源调度原理 Spark任务调度 Spark案例 Spark中两种最重要shuffle Spark高可用集群的搭建 SparkSQL介绍 SparkSQL实战 SparkStreaming介绍 SparkStreaming实战 ）