怎样进行大数据的入门级学习?



看了这个线路图,估计没有入门的同学不明白不是学大数据吗?怎么还要学Java呢?

大数据就是一个行业,实现同一个需求同样有多种工具可以选择,狭义一点以技术的角度讲,各类框架有Hadoop,spark,storm,flink等,就这类技术生态圈来讲,还有各种中间件如flume,kafka,sqoop等等 ,这些框架以及工具大多数是用Java编写而成,但提供诸如Java,scala,Python,R等各种语言API供编程。

所以,Java之于大数据,就是一种工具罢了。

大数据框架的编写支持很多开发语言,但是Java在大数据开发方面有很大的优势,目前流行的大数据Hadoop框架、map-reduce框架,很多部分都是用开源的Java语言编写,因此Java在大数据方面有很大优势!

说完了整体,再来说说每个阶段的学习:


。

第一阶段:Java语言编程基础

怎样进行大数据的入门级学习?


能力养成:
能够掌握DOS系统常用基本命令; 熟练使用eclipse编写java代码; 熟练使用java语言的常用对象; 使用java编写单机应用程序;
掌握面向对象编程思想,为以后深入学习JavaEE就业课程打下坚实的基础。

具备能力及市场价值:

能够完成B/S结构网站开发,具备了真实环境的项目部署能力,能够完成中小型企业管理系统等传统项目  的开发。

第二阶段 :JavaWeb核心技术

怎样进行大数据的入门级学习?


核心能力培养:
运用常用的网页开发技术设计网页; 掌握WEB系统交互原理;
掌握JavaWeb开发核心技术;
运用JavaWeb核心技术完成简单功能实现;
掌握JavaWeb高级技术,创建更好的Web应用程序; 具备B/S结构软件开发能力。

具备能力及市场价值:

能够完成B/S结构网站开发,具备了真实环境的项目部署能力,能够完成中小型企业管理系统等传统项目的开发。

第三阶段:网站开发三大框架

怎样进行大数据的入门级学习?


核心能力培养:
掌握SSM框架,使用SSH框架开发出结构清晰、可复用性好、维护方便的Web应用程序; 掌握如何使用Maven管理项目工程;
掌握数据库的相关技术;
掌握系统开发中的性能、可扩展性及维护性的提升;
通过项目实战熟练掌握SSM框架的使用。

具备能力及市场价值:

能够使用SSH框架完成传统企业级项目开发,熟悉多种业务流程,丰富项目开发经验。

第四阶段:互联网搜索及爬虫

怎样进行大数据的入门级学习?

核心能力培养:
掌握网络爬虫开发技术、能够获取互联网数据;掌握中文分词,并能够进行词库维护及管理;
了解图片识别及验证码识别技术;
掌握搜索技术,能够快速搭建企业级高性能搜索系统理解分布式核心思想的分片及副本机制。

具备能力及市场价值:

能够利用技术手段获取互联网的数据能够构建企业级搜索系统。

第五阶段: 分布式电商系统

怎样进行大数据的入门级学习?


核心能力培养:
电商网站核心业务开发:商家管理、商品管理、库存管理、购物车、订单、支付、物流等 高性能网站技术:静态化技术、缓存技术、分库分表技术、服务化治理技术;
使用分布式服务化治理框架Dubbox开发微服务系统
使用静态化技术、缓存技术、分库分表技术提高系统性能。

具备能力及市场价值:

能够独立完成中小型网站整体架构,承载百万级并发访问能够独立完成电商网站核心业务系统开发。

第六阶段: 大数据离线计算

怎样进行大数据的入门级学习?



核心能力培养:
掌握离线数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术 掌握用户日志分析系统(业务分析、编码实现、调度配置、数据导出、数据可视化);

掌握数据仓库管理、元数据管理、数据稽查等常见处理技术掌握Hadoop高可用配置及管理。

具备能力及市场价值:

能够胜任离线相关工作,包括ETL工程师、任务调度工程师、Hive工程师、数据仓库工程师等。

第七阶段:大数据实时计算

怎样进行大数据的入门级学习?



核心能力培养:
掌握实时数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术;
掌握互联网行为数据分析/用户看板/互联网交易风险控制系统案例(业务知识、技术开发、实时架构);  
掌握实时数据数据存储(Hbase/Redis),查询操作(ElasticSearch)等技术;
掌握推荐系统开发整体架构、数据清洗、数据调度、数据导入导出、推荐引擎开发。

具备能力及市场价值:

能够胜任实时相关工作,包括ETL工程师、Storm工程师、搜索系统工程师、初级推荐系统工程师等。

第八阶段:大数据内存计算

怎样进行大数据的入门级学习?

核心能力培养:
掌握Spark基础、Spark RDD、Spark SQL、Spark Streaming开发技术;
掌握互联网电商用户画像建模、开发、可视化(业务知识、技术开发、架构) 掌握数据数据存储及存储(Hbase+Phoenix)。

具备能力及市场价值:

能够胜任Spark相关工作,包括ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师等  目前企业急缺Spark相关人才。

第九阶段:机器学习基础

怎样进行大数据的入门级学习?



核心能力培养:
了解机器学习基本概念、流程、常见算法。
能够使用算法解决简单的业务问题(特征提取、模型设计、代码开发、效果评测)。

具备能力及市场价值:

机器学习入门,能够解决简单的业务问题。


好了,关于大数据的学习,就说这么多了