一、学习大数据需要的基础

java SE，EE(SSM)
90%的大数据框架都是java写的
MySQL
SQL on Hadoop
Linux
大数据的框架安装在Linux操作系统上

二、需要学什么

2.1：大数据离线分析

一般处理T+1数据
(T+1:T表示处理时间(一天,一周,或者一月,一般不会一年处理一次数据) +1:表示处理一次数据)
Hadoop ：（common、HDFS、MapReduce、YARN）
环境搭建!
重点:处理数据的思想
Hive:
hive是基于Hadoop的一个数据仓库工具!
可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能可以将sql语句转换为MapReduce任务进行运行!
优点:
是学习成本低,
可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
存储特点:
面向行存储,就像传统的数据库,先定义好你的字段,你某一个字段是空的就是以null的形式存储在内存中,

你的null存储多了就造成了极大的资源浪费!所以就需要学习HBase

HBase
基于HDFS的NOSQL(not only SQL:不仅仅是数据库)数据库
存储特点:

面向列的存储,脱离传统数据库的存储方式,没有规定的字段,你要存储什么数据你通过键值对的形式存储自己(键就是你的字段,value的就是你的值)

                行存储和列存储的对比:

             

协作框架：
sqoop(HDFS 和 RDBMS 的桥梁）
在关系数据库和noSQL数据库架中间起一座桥梁,让他们可以互导数据!
flume:
收集日志文件中信息,存入数据库中!

调度框架
anzkaban,了解:crotab(Linux自带)、zeus(Alibaba)、Oozie(cloudera)
利用调度框架在固定时间,自动调用flume等协作框架向noSQL数据库导入数据!
扩展前沿框架：
kylin:分析框架;
impala:分析框架(游戏公司常用;偏向实时分析!)
ElasticSearch（ES:检索框架!）

2.2：大数据实时分析

以spark框架为主
Scala：    OOP +    FP 
    面向对象编程     面向函数编程

sparkCore:类比MapReduce
sparkSQL:类比hive
sparkStreaming：实时数据处理
kafka:消息队列
前沿框架扩展：flink  
阿里巴巴 blink (阿里重写flink出现的blink)

2.3：大数据机器学习（扩展）

spark MLlib:机器学习库
pyspark编程：Python和spark的结合
推荐系统
python数据分析

Python机器学习

                                                

作者:唐平                                                                                                                                部分信息来源于网络

时间:2018-06-09