王知无的技术周报(3.31-4.3日)
发件人:王知无
收件人:朋友们
本周知识点
一点点由面试引发的思考和感悟。
本文走马观花的介绍了Hadoop相关内容。文章的主要目的是给大家一个对大数据的分布式解决方案的感官印象,为后面的大数据相关文章提供一个基础的理解。最后要强调的是,思考大数据方向的问题是一定要记住分布式的概念,因为你的数据并不在一个设备中甚至不再一个集群中,而且计算也是分布的。
由一位逆行小哥的视频引发的一点思考。
Hadoop解决大规模数据分布式计算的方案是MapReduce。MapReduce既是一个编程模型,又是一个计算框架。也就是说,开发人员必须基于MapReduce编程模型进行编程开发,然后将程序通过MapReduce计算框架分发到Hadoop集群中运行。
本篇介绍了HDFS的原理和实践应用。
下周工作安排
基于整个Hadoop框架基础上的Hive和Hbase学习。
清明节期间打烊休息。朋友们,节后再见。
点赞和转发是最大的支持~谢谢大家~