hadoop,hive,MapReduce,调度器,项目总结及性能优化
hadoop 的性能优化
MapReduce
调度器
MapReduce中实现join
MapReduce Join
map join:适合小文件和大文件的join
Join过程发生在Map端
每个Map task都可以直接读取到小文件内容 与大文件的每一个块进行join.
分布式join
小文件:文件大小 < 1个块的大小
reduce join
join过程发生Reduce
目标数据:
1,Stephanie Leung,555-555-5555 ,B,88.25,20-May-2008
map端
读取2个文件,打标签,2个文件有主外键关系
1,Stephanie Leung,555-555-5555 user
1,B,88.25,20-May-2008 order
shuffle
1,[{ Stephanie Leung,555-555-5555},{B,88.25,20-May-2008},{B,88.25,20-May-2008}]
reduce端
判定每一条记录,
先取出User标签的数据:只有一条
将所有客户信息保存为变量:userInfo
再取出order标签的数据:orderInfo
拼接:userInfo + orderInfo
semi join:map和reduce都有
(1)将不需要JOIN的数据在Map端直接过滤掉
将主表A中所有ID放入缓存(分布式缓存)
取出B表的每个Id,
判定B的id是在分布式缓存中存在,如果不存在,直接过滤掉
(2)reduce 端join