hive解析json

一.字段为字符串(只有一个json)

例如json为:{"id": 1701439105,"ids": [2154137571,3889177061,1496915057,……,1663973284],"total_number": 493}

select get_json_object(t.json,'$.id'), get_json_object(t.json,'$.total_number')  取出对应key的值

json_tuple可以一次性解析多个字段,而get_json_object一次只能解析一个字段。

二.字段直接为数组  ----需要解析json

使用explode函数将一行变多行,在处理

select col, get_json_object(col,'$.id')  as id
from  pp  --表
lateral view explode(pp.str) ss as col   --将字段处理成新的字段

三.字段为字符串 ---字符串里是json数组,需要解析json

过程:因为原数据是string(并不是真正的数组类型)类型的,所以无法直接使用explode函数。
1.regexp_extract('xxx','^\\[(.+)\\]$',1) 这里是把需要解析的json数组去除左右中括号,需要注意的是这里的中括号需要两个转义字符\\[。
2.regexp_replace('xxx','\\}\\,\\{', '\\}\\|\\|\\{') 把json数组的逗号分隔符变成两根竖线||,可以自定义分隔符只要不在json数组项出现就可以。
3.使用split函数返回的数组,分隔符为上面定义好的。
4.lateral view explode处理3中返回的数组。

例如:

hive解析json

hive解析json

hive解析json