Hive 行转列and列转行

相关函数说明
CONCAT(string A/col, string B/col...):返回输入字符串连接后的结果,支持任意个输入 字符串;

CONCAT_WS(separator, str1, str2,...):它是一个特殊形式的 CONCAT()。第一个参数剩 余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL, 返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔 符将被加到被连接的字符串之间;

COLLECT_SET(col):函数只接受基本数据类型,它的主要作用是将某字段的值进行去 重汇总,产生 array 类型字段。

Hive 行转列and列转行

需求:把星座和血型一样的人归类到一起,结果如下

Hive 行转列and列转行

创建本地 constellation.txt,导入数据

Hive 行转列and列转行


创建 hive 表并导入数据

Hive 行转列and列转行

Hive 行转列and列转行

按需求查询数据

Hive 行转列and列转行

列转行

函数说明
EXPLODE(col):将 hive 一列中复杂的 array 或者 map 结构拆分成多行。 LATERAL VIEW

用法:LATERAL VIEW udtf(expression) tableAlias AS columnAlias

解释:用于和 split, explode 等 UDTF 一起使用,它能够将一列数据拆成多行数据,在此 基础上可以对拆分后的数据进行聚合。

Hive 行转列and列转行

需求:将电影分类中的数组数据展开,结果如下

Hive 行转列and列转行

创建本地 movie.txt,导入数据

Hive 行转列and列转行

Hive 行转列and列转行

创建 hive 表并导入数据

Hive 行转列and列转行

按需求查询数据

Hive 行转列and列转行