hive解析json
一.字段为字符串(只有一个json)
例如json为:{"id": 1701439105,"ids": [2154137571,3889177061,1496915057,……,1663973284],"total_number": 493}
select get_json_object(t.json,'$.id'), get_json_object(t.json,'$.total_number') 取出对应key的值
json_tuple可以一次性解析多个字段,而get_json_object一次只能解析一个字段。
二.字段直接为数组 ----需要解析json
使用explode函数将一行变多行,在处理
select col, get_json_object(col,'$.id') as id
from pp --表
lateral view explode(pp.str) ss as col --将字段处理成新的字段
三.字段为字符串 ---字符串里是json数组,需要解析json
过程:因为原数据是string(并不是真正的数组类型)类型的,所以无法直接使用explode函数。
1.regexp_extract('xxx','^\\[(.+)\\]$',1) 这里是把需要解析的json数组去除左右中括号,需要注意的是这里的中括号需要两个转义字符\\[。
2.regexp_replace('xxx','\\}\\,\\{', '\\}\\|\\|\\{') 把json数组的逗号分隔符变成两根竖线||,可以自定义分隔符只要不在json数组项出现就可以。
3.使用split函数返回的数组,分隔符为上面定义好的。
4.lateral view explode处理3中返回的数组。
例如: