Hadoop()-理解Map-Reduce
map-reduce背后的思想很简单,就是把一些数据通过map来归类,通过reducer来把同一类的数据进行处理。
map-reduce之所以有效是基于两个哲学, (1)大而化小 和 (2) 异而化同。 这两个应对了大数据中的volume(量)和variety(类)挑战。
wordCount要求:计算文件中出现每个单词的频数
map-reduce背后的思想很简单,就是把一些数据通过map来归类,通过reducer来把同一类的数据进行处理。
map-reduce之所以有效是基于两个哲学, (1)大而化小 和 (2) 异而化同。 这两个应对了大数据中的volume(量)和variety(类)挑战。
wordCount要求:计算文件中出现每个单词的频数