在大数据时代下,你准备好要了解大数据的基础知识了吗?
大数据是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”
大数据的意义
第一次工业革命:煤炭为基础,蒸汽机和印刷术为标志;
第二次工业革命:石油为基础,内燃机和电信技术为标志;
第三次工业革命:核能基础,互联网技术为标志;
第四次工业革命:可再生能源为基础,数据和内容作为互联网的核心为标志。
大数据的类型
1、传统企业数据:包括CRM systems的消费者数据,传统的ERP数据,库存数据以及账目数据等。
2、机器和传感器数据:包括呼叫记录,智能仪表,工业设备传感器,设备日志交易数据等。
3、社交数据:包括用户行为记录,反馈数据等。
大数据挖掘商业价值的方法
1、客户群体细分:为每个群体量身定制特别的服务;
2、加强部门联系:提高整条管理链条和产业链条的效率;
3、模拟现实环境:发掘新的需求同时提高投资的回报率;
4、降低服务成本:发现隐藏线索进行产品和服务的创新。
大数据的特征
1、数据体量巨大:人类生产的所有印刷才来偶的数量是200PB,而历史上全人类说过的所有话的数量大约是5EB(1EB=210PB);
2、价值密度低:价值密度的高低与数据总量的大小成反比,如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下待解决的难题。
3、数据类型繁多:相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高的要求。
4、处理速度快:大数据区分于传统数据挖掘的最显著特征。
很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:199427210,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系
大数据的学习体系路线学习
学习路线:
(一)Linux理论 (Linux基础 Linux-shell编程 高并发:lvs负载均衡 高可用&反向代理)
(二)Hadoop理论 (hadoop-hdfs理论 hadoop-hdfs集群搭建 hadoop-hdfs 2.x & api hadoop-MR理论 hadoop-MR开发&源码分析 hadoop-MR源码分析 hadoop-MR开发案例 hadoop-MR开发案例)
(三)Hive理论 (Hive介绍以及安装 Hive实战 )
(四)HBase理论 (HBase介绍以及安装 HBase调优 )
(五)Hadoop项目 (项目需求分析 项目准备 数据采集以及清洗 项目代码实现以及优化 项目架构扩展以及组件整合 )
(六)redis理论 (redis类型 redis高级)
(七)Zookeeper理论 (Zookeeper介绍 Zookeeper使用 )
(八)Scala语法 (Scala语法介绍 scala语法实战 )
(九)Spark理论 (Spark介绍 Spark代码开发流程 Spark集群搭建 Spark资源调度原理 Spark任务调度 Spark案例 Spark中两种最重要shuffle Spark高可用集群的搭建 SparkSQL介绍 SparkSQL实战 SparkStreaming介绍 SparkStreaming实战 )