零基础如何学好大数据?需要掌握哪些基础工具?
大数据~数据挖掘,越来越火,90%的企业都在运用或者都想要利用大数据为其带来更便利的服务,从而大数据高端软件类人才可谓供不应求。
如何学好大数据?需要掌握哪些基础工具?
一、Hadoop
Hadoop生态系统安装部署(单机、伪分布式、完全分布式)
HDFS及读写原理
MapReduce V1、V2框架
WordCount编码详解
原理 Mapper、Reducer、Combiner、InputFormat、Writable、Comparable
HDFS HA原理、部署
数据去重、单表关联、多表关联、PageRank、二次排序、倒排索引、TF-IDF
二、Hive
Hive安装与配置
Hive 内建操作符与函数开发
Hive JDBC
hive参数
Hive 高级编程
Hive QL
Hive Shell 基本操作
hive 优化
Hive体系结构
Hive的原理
三、PIG
pig的概念及优点
关系(relation)、包(bag)、元组(tuple)、字段(field)、数据(data)的关系
FLATTEN操作符的作用
GROUP操作符
数据操作相关
多维度组合操作技巧
pig脚本
四、 Zookeeper
ZooKeeper安装配置
Zookeeper命令操作
构建ZooKeeper应用
管理分布式环境中的数据
ZooKeeper机制架构
一致性原理
ZooKeeper伸缩性
五、 HBase
Hbase基础概念
hbase数据模型
Hbase物理模型
Hbase架构
Hbase应用
六、 Mahout,一图胜千言,Mahout学习路线图
七、 Sqoop
1、配置Sqoop 2、使用Sqoop把数据从MySQL导入到HDFS中 3、使用Sqoop把数据从HDFS导出到MySQL中
八、 Cassandra
Cassandra 的数据存储结构
Cassandra 节点的安装和配置
常用编程语言使用 Cassandra 来存储数据
搭建 Cassandra 集群环境、
当然这几个还远远不够,看看 Mahout 的思维导图就能发现还有很多我们没有提到。
在学习大数据的过程当中有遇见任何问题,可以加入我的Java/大数据交流学习秋秋qun:七三二、三零八、一七四,多多交流问题,互帮互助,群里有不错的学习教程和开发工具。学习大数据有任何问题(学习方法,学习效率,如何就业),可以随时来咨询我