做大数据工程师,需要学习什么?
一.大数据方向工作介绍
大数据方向的工作目前分为三个主要方向:
- 大数据工程师
- 数据分析师
- 大数据科学家
- 其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的方向吧)
二.大数据工程师的技能要求
附上比较权威的大数据工程师技能图(图侵删):
总结必须技能10条:
- .Java高级(虚拟机、并发)
- Linux 基本操作
- Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )
- HBase(JavaAPI操作+Phoenix )
- Hive(Hql基本操作和原理理解)
- Kafka
- Storm
- Scala
- Python
- Spark (Core+sparksql+Spark streaming )
- 一些小工具(Sqoop等)
高阶技能6条:
- 机器学习算法以及mahout库加MLlib
- R语言
- Lambda 架构
- Kappa架构
- Kylin
- Aluxio
三.学习路径
第一阶段:
- Linux技能知识的学习;
- Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》)
第二阶段:
- Hadoop (董西成的书)
- HBase(《HBase权威指南》)
- Hive(《Hive开发指南》)
- Scala(《快学Scala》)
- Spark (《Spark 快速大数据分析》)
- Python (跟着廖雪峰的博客学习就ok了)
第三阶段:
对应技能需求,到网上多搜集一些资料就ok了,我把最重要的事情(要学什么告诉你了),剩下的就是你去搜集对应的资料学习,当然如果你觉得自己看书效率太慢,你可以网上搜集一些课程,跟着课程学;这个完全根据自己情况决定;如果看书效率不高就看网课,相反的话就看书。
四.学习资源推荐:
- Apache 官网
- *
- github
- Cloudra官网
- Databrick官网
- 过往的记忆(技术博客)
- CSDN,51CTO
转载文章,侵权删。