日志服务——loghub

日志服务——loghub

一.关于查询

1.查询和分析索引直接挂钩,所以分析索引决定着查询,在每一个loghub创建后首要的就是开启索引,要不然导入的数据会有一部分可能没有索引而不显示,如果已经出现这种情况可以重建索引,有数据的情况下,可以直接自动生成索引,注意查看字段情况,如有缺失,注意补充,追加的方式可以补充缺失的字段,如果不追加字段,可能以后的索引都会有缺失,导致数据有损失情况发生,强烈建议在建立索引的时候就马上看字段情况,立即补充。
2.查询语法文档:点我进入官方文档链接
3.日志服务顶端即为搜索框,选择对应的字段内容会自动进入索引

1)搜索语法为(引号里面的内容):“ * and XXX: xxx ”
大写XXX填写需要查找的字段,小写的xxx填写需要找的该字段的内容
如果是组合查询,直接再后面直接再追加一组就可以,如下:
搜索语法为(引号里面的内容):“ * and XXX: xxx and XXX: xxx …”
2)其他常见

  • and XXX in [ ]
    前面是有*,有星号方括号代表等于,括号里面可以写一个范围
    日志服务——loghub
    3)下图代表日志服务里面的时间选择,经常更新一般是15分钟,如果要查历史数据,一般点击整点时间,里面可以选择季度和年,自定义里面可以确定比较精确的时间范围,精确到分钟。
    日志服务——loghub

二.关于数据加工

数据加工之前专门写过一篇,有专门的语法
本文要讲述数据加工给日志服务里面所涉及的细节问题
1.数据加工时间,数据加工的时间一般表现在
tag:__receive_time___0: 1605691511 (时间戳)
如果是一天内加工所有的历史数据,会把所有的加工好的历史数据都放在同一个进入时间即同一个receive_time___0:,所以如果导入到其他地方一定要注意,时间不再是你日志的时间,而是你导入的时间,或者说加工的时间
2.在已经有同步加工任务的前提下,进行历史数据的数据加工,这种情况会出现历史数据加工不全的情况,所以建议,如果是新的logstroe建议先把之前的历史数据加工完,再进行小部分的近期的数据同步,大量历史数据加工的时候建议开启15秒刷新,不容易漏数据
3.待补充

三.关于数据导出

1.导出到maxcompute 数据导出的时候,选取的时间一定是日志进入的时间,不一定是日志生成的时间,详见二.1,新生成的同步数据是日志时间,一般是同步的,历史时间是日志进入的那个logstore时间,如果是加工的logstore那一定是加工的那一天,所以会有好多的日期在一个时间戳的情况,如果取总量,直接计算,如果求最后一条,那可以直接忽略不计。
2.待补充…