Hive元数据信息对应的MySQL数据表
Hive元数据信息对应的MySQL数据表
Hive的元数据一般选择放在关系型数据库中，自带的数据库是Derby，我将Hive的元数据信息存放在MySQL数据库中，对应的hive数据库中，共57张表。
1. Hive版本信息
元数据表VERSION中存储的是Hive的元数据版本，如果该表出现问题，根本进入不了Hive-Cli。
-
VERSION表结构：
元数据表字段 说明 示例数据 VER_ID ID(主键) 1 SCHEMA_VERSION Hive-Schema版本 2.3.0 VERSION_COMMENT 版本说明 Hive release version 2.3.0
2. Hive数据库相关的元数据表
与Hive数据库相关的元数据表有3个，分别是DBS、DATABASE_PARAMS和DB_PRIVS这3张表。DBS存储的是Hive数据库的基本信息，DATABASE_PARAMS存储的是数据库的相关参数，DB_PRIVS存储的是数据库的授权信息，通过GRANT授权后将存储在这里表中(不常用)。
-
DBS表结构：
元数据表字段 说明 示例数据 DB_ID 数据库ID 51 DESC 数据库描述 DB_LOCATION_URI 数据库HDFS路径 hdfs://supercluster/user/hive/warehouse/test.db NAME 数据库名称 test OWNER_NAME 数据库所有者 hadoop OWNER_TYPE 数据库所有者类型 USER -
DATABASE_PARAMS表结构：
元数据表字段 说明 示例数据 DB_ID 数据库ID 51 PARAM_KEY 参数名 date PARAM_VALUE 参数值 2020-09-02 -
DB_PRIVS表结构(不常用)：
元数据表字段 说明 示例数据 DB_GRANT_ID 授权ID 1 CREATE_TIME 授权时间 1599136358 DB_ID 数据库ID 51 GRANT_OPTION 授权选项 0 GRANTOR 授权用户 hadoop GRANTOR_TYPE 授权用户类型 USER PRINCIPAL_NAME 被授权用户 hadoop PRINCIPAL_TYPE 被授权用户类型 USER DB_PRIV 数据库权限 SELECT
3. Hive表和视图相关的元数据表
与Hive数据表和视图相关的元数据表有3个，分别是TBLS、TABLE_PARAMS和TBL_PRIVS这3张表。TBLS存储的是Hive数据表、视图和索引表的基本信息，TABLE_PARAMS存储的是数据表和视图的属性信息，TABLE_PRIVS存储的是数据表和视图的授权信息。
-
TBLS表结构：
元数据表字段 说明 示例数据 TBL_ID 数据表ID 18 CREATE_TIME 创建时间 1599139279 DB_ID 数据库ID 51 LAST_ACCESS_TIME 上次访问时间 0 OWNER 所有者 hadoop RETENTION 保留字段 0 SD_ID 序列化配置信息 18 TBL_NAME 表名 studentview TBL_TYPE 表类型 VIRTUAL_VIEW VIEW_EXPANDED_TEXT 视图的详细HQL语句 SELECT `id` AS `id`, `name` AS `name`, `sex` AS `sex` FROM (select `student`.`id`, `student`.`name`, `student`.`sex` from `test`.`student`) `test.studentView` VIEW_ORIGINAL_TEXT 视图的原始HQL语句 select * from test.student IS_REWRITE_ENABLED 0 -
TABLE_PARAMS表结构：
元数据表字段 说明 示例数据 TBL_ID 数据表ID 18 PARAM_KEY 属性名 transient_lastDdlTime PARAM_VALUE 属性值 1599139279 -
TBL_PRIVS表结构：
元数据表字段 说明 示例数据 TBL_GRANT_ID 授权ID 61 CREATE_TIME 授权时间 1599139279 GRANT_OPTION 授权选项 1 GRANTOR 授权用户 hadoop GRANTOR_TYPE 授权用户类型 USER PRINCIPAL_NAME 被授权用户 hadoop PRINCIPAL_TYPE 被授权用户类型 USER TBL_PRIV 数据表权限 UPDATE TBL_ID 数据表ID 18
4. Hive文件存储信息相关的元数据表
由于HDFS的文件格式很多，建Hive表的同时也可以指定各种文件格式，Hive在将SQL解析成MapReduce程序时，需要知道去哪里可以查询到这些信息，这些信息就保存在SDS、SD_PARAMS、SERDES和SERDE_PARAMS这4张表中。SDS存储的是文件存储的基本信息，如输入格式、输出格式、是否压缩等，SD_PARAMS存储的是hive存储的相关属性，在创建表时使用，SERDES存储的是序列化使用的类信息，SERDE_PARAMS存储的是序列化的一些属性和格式信息，比如行、分隔符等。
-
SDS表结构：
元数据表字段 说明 示例数据 SD_ID 存储信息ID 2 CD_ID 字段信息ID 2 INPUT_FORMAT 文件输入格式 org.apache.hadoop.mapred.TextInputFormat IS_COMPRESSED 是否压缩 0 IS_STOREDASSUBDIRECTORIES 是否以子目录存储 0 LOCATION HDFS路径 hdfs://supercluster/user/hive/warehouse/test.db/student NUM_BUCKETS 分桶数量 -1 OUTPUT_FORMAT 文件输出格式 org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat SERDE_ID 序列化类ID 17 -
SD_PARAMS表结构：
元数据表字段 说明 示例数据 SD_ID 存储信息ID PARAM_KEY 属性名 PARAM_VALUE 属性值 -
SERDES表结构：
元数据表字段 说明 示例数据 SERDE_ID 序列化类配置ID 17 NAME 序列化类别名 SLIB 序列化类 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe -
SERDE_PARAMS表结构：
元数据表字段 说明 示例数据 SERDE_ID 序列化类配置ID 17 PARAM_KEY 属性名 field.delim PARAM_VALUE 属性值
5. Hive表字段相关的元数据表
元数据表COLUMNS_V2主要存储的是Hive数据表中字段的相关信息。
-
COLUMNS_V2表结构：
元数据表字段 说明 示例数据 CD_ID 字段信息ID 17 COMMENT 字段注释 COLUMN_NAME 字段名 id TYPE_NAME 字段类型 int INTEGER_INDEX 字段顺序 0
6. Hive表分区相关的元数据表
和Hive表分区相关的元数据表主要有PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS和PARTITION_PARAMS这4张表。PARTITIONS表存储的是Hive表分区的基本信息，PARTITION_KEYS表存储的是Hive分区表的分区字段的信息，PARTITION_KEY_VALS表存储的是Hive表分区的字段值，PARTITION_PARAMS表存储的是Hive分区的属性信息。
-
PARTITIONS表结构：
元数据表字段 说明 示例数据 PART_ID 分区ID 1 CREATE_TIME 分区创建时间 1599224944 LAST_ACCESS_TIME 最后一次访问时间 0 PART_NAME 分区名 dt=2020-09-03 SD_ID 分区存储ID 21 TBL_ID 数据表ID 19 -
PARTITION_KEYS表结构：
元数据表字段 说明 示例数据 TBL_ID 数据表ID 19 PKEY_COMMENT 分区字段注释 PKEY_NAME 分区字段名称 dt PKEY_TYPE 分区字段类型 string INTEGER_IDX 分区字段顺序 0 -
PARTITION_KEY_VALS表结构：
元数据表字段 说明 示例数据 PART_ID 分区ID 1 PART_KEY_VAL 分区字段值 2020-09-03 INTEGER_IDX 分区字段顺序 0 -
PARTITION_PARAMS表结构：
元数据表字段 说明 示例数据 PART_ID 分区ID 1 PARAM_KEY 分区属性名 numFiles PARAM_VALUE 分区属性值 1
7. 其他不常用的元数据表
- IDXS：索引表；
- INDEX_PARAMS：索引参数/属性表；
- TAB_COL_STATS：表字段的统计信息表。使用ANALYZE语句对标字段分析后记录在这里；
- TAB_COL_PRIVS：表字段的授权信息表；
- PART_PRIVS：分区授权信息表；
- PART_COL_STATS：分区字段的统计信息表；
- PART_COL_PRIVS：分区字段的权限信息表；
- FUNCS：用户注册的函数信息表；
- FUNCS_RU：用户注册函数的资源信息表。