做大数据工程师,需要学习什么?

一.大数据方向工作介绍

大数据方向的工作目前分为三个主要方向:

  1. 大数据工程师
  2. 数据分析师
  3. 大数据科学家
  4. 其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的方向吧)

二.大数据工程师的技能要求

附上比较权威的大数据工程师技能图(图侵删):
 

做大数据工程师,需要学习什么?

总结必须技能10条:

  1. .Java高级(虚拟机、并发)
  2. Linux 基本操作
  3. Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )
  4. HBase(JavaAPI操作+Phoenix )
  5. Hive(Hql基本操作和原理理解)
  6. Kafka
  7. Storm
  8. Scala
  9. Python
  10. Spark (Core+sparksql+Spark streaming )
  11. 一些小工具(Sqoop等)

高阶技能6条:

  1. 机器学习算法以及mahout库加MLlib
  2. R语言
  3. Lambda 架构
  4. Kappa架构
  5. Kylin
  6. Aluxio

三.学习路径

第一阶段:

  1. Linux技能知识的学习;
  2. Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》)

第二阶段:

  1. Hadoop (董西成的书)
  2. HBase(《HBase权威指南》)
  3. Hive(《Hive开发指南》)
  4. Scala(《快学Scala》)
  5. Spark (《Spark 快速大数据分析》)
  6. Python (跟着廖雪峰的博客学习就ok了)

第三阶段:

对应技能需求,到网上多搜集一些资料就ok了,我把最重要的事情(要学什么告诉你了),剩下的就是你去搜集对应的资料学习,当然如果你觉得自己看书效率太慢,你可以网上搜集一些课程,跟着课程学;这个完全根据自己情况决定;如果看书效率不高就看网课,相反的话就看书。

四.学习资源推荐:

  1. Apache 官网
  2. *
  3. github
  4. Cloudra官网
  5. Databrick官网
  6. 过往的记忆(技术博客)
  7. CSDN,51CTO

转载文章,侵权删。