Hive 05_hive变量、动态分区
hive 参数、变量
--hive当中的参数、变量,都是以命名空间开头
--通过${}方式进行引用,其中system、env下的变量必须以前缀开头
hive 参数设置方式
--1、修改配置文件 ${HIVE_HOME}/conf/hive-site.xml
--2、启动hive cli时,通过--hiveconf key=value的方式进行设置
--例:hive --hiveconf hive.cli.print.header=true
--3、进入cli之后,通过使用set命令设置
hive set命令
--在hive CLI控制台可以通过set对hive中的参数进行查询、设置
--set设置:
--set hive.cli.print.header=true;
--set查看
--set hive.cli.print.header
--hive参数初始化配置
--当前用户家目录下的.hiverc文件
--如: ~/.hiverc
--如果没有,可直接创建该文件,将需要设置的参数写到该文件中,hive启动运行时,会加载改文件中的配置。
--hive历史操作命令集
--~/.hivehistory
hive 动态分区
--开启支持动态分区
--set hive.exec.dynamic.partition=true;
--默认:true
--set hive.exec.dynamic.partition.mode=nostrict;
--默认:strict(至少有一个分区列是静态分区)
--相关参数
--set hive.exec.max.dynamic.partitions.pernode;
--每一个执行mr节点上,允许创建的动态分区的最大数量(100)
--set hive.exec.max.dynamic.partitions;
--所有执行mr节点上,允许创建的所有动态分区的最大数量(1000)
--set hive.exec.max.created.files;
--所有的mr job允许创建的文件的最大数量(100000)
加载数据
from psn21
insert overwrite table psn22 partition(age, sex)
select id, name, age, sex, likes, address distribute by age, sex