Hive2.X 整合执行引擎Tez （DAG）

Hive2.X 整合执行引擎Tez （DAG）

解压压缩包：
tar -zxvf apache-tez-0.9.2-bin.tar.gz
重命名：
mv apache-tez-0.9.2-bin tez

替换tez里的两个jar包

如上图，将/opt/mysoft/hadoop/share/hadoop/mapreduce 里的覆盖掉tez/lib里的对应JAR包。

配置环境变量：
vi /etc/profile

将tez.tar.gz上传到HDFS上:
创建：hdfs dfs -mkdir /mytez
上传：hdfs dfs -put /opt/mysoft/tez/share/tez.tar.gz /mytez
赋权：hdfs dfs -chmod 777 /mytez

在hadoop/etc/hadoop 目录下创建tez-site.xml 文件 （只需要在qiku一台上创建就可以了）
内容如下：

Hive shell中实现执行引擎: MR 和 Tez 切换

在hive-site.xml 文件中，默认的执行引擎为：hive.execution.engine = mr,可以修改也可以动态切换
临时切换成tez：set hive.execution.engine=tez;

然后执行查询任务：select name,sum(value) from jingdong groud by name;

最后在192.168.110.10:8088查看任务执行情况：

Tez确实比MR快好几倍，尤其在还有迭代（对MR来说频繁读写磁盘，Tez基于DAG,尽可能的在内存完成，实在内存不够用，才会部分借助磁盘）的计算中，效率更显著。