初识大数据

大数据初学记录

自我介绍：
本人目前是一名刚刚结束大一的学生，专业为数据科学与大数据技术，第一次写博客，没有啥经验，望多多包涵

大数据的4V
体量大(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）

大数据对企业的作用
建立客户关系, 便于精准营销
了解竞争对手, 知己知彼
创新商业模式、产品与服务
实时调整经营决策
挖掘企业内部数据, 提高企业决策力

就业方向

技术开发
ETL开发、hadoop开发、机器学习开发、实时计算开发、数据仓库等;
基于大数据现有生态系统的各项技术API进行集成开发, 为企业提供更高视角的具有自主知识产权的综合解决方案、期间或许会涉及到各大技术的底层代码, 技术要求比较高、设计的技术领域更广.

数据挖掘
主要职责是对企业的业务模型进行抽象, 运用数学思想进行数据建模, 推导出数学公式或者是相应的数学算法, 交由开发人员进行实现.该职位对数学领域的知识要求较高, 但更重要的是对企业的业务模型和市场洞察力以及独立分析、思考能力都有严格的要求, 而且需要有非常丰富的行业经验、非短时间内可以达到的程度.

大数据构架
大数据架构师涉及的工作范畴更多的是企业大数据的整体规划和布局, 比如集群架构的设计、可伸缩性处理、高可用性对应策略、计算机硬件选型、大数据集群的构建指导方案、资源调度处理、硬件调优处理、操作系统与大数据软件栈的构建与调优等等.设计的技术知识面不论是宽度和深度都需要有相当的程度.

机遇与挑战

机遇
大数据给我们带来了机遇和挑战，我们是否能从中受益则需要看我们怎么对待这些机遇和挑战。

大数据的机遇是明显的，各种大平台的数据采集与公开，MapReduce等数据分析平台的开放，以及各领域数据挖掘服务的提供，使我们获得数据变得更加容易。而这些丰富的数据更是带来了众多的创新机会，任何领域的数据都可能对这个领域造成巨大的影响。

挑战
一、数据共享与数据私有的矛盾。
二、数据洪流与技术滞后的矛盾。
三、是社会需求与人才匮乏的矛盾。
四、开放数据与保护隐私的矛盾。

大数据未来发展趋势
我认为大数据将是未来的石油，而移动互联网将成为主要上网方式，移动大数据也将蓬勃发展。

1.移动大数据分析将逐步成为云计算和物联网的研究聚焦点。

2.移动互联网UGC和MGC数据的深度融合将催生新的产业。

3.专注于局部领域的数据分析服务将成为近期产业创新主流。

4.Map-Reduce将仍保持活力，分布式流数据分析方法将成为机器学习理论研究和应用研究热点。

5.数据共享是大势所趋，但需要特别重视国家信息安全，开放数据需要立法支持，信息安全需要自主技术保障。