在ELK中合并日志和查询

问题描述:

使用ELK(Elasticsearch-Logstash-Kibana)堆栈,我将syslog日志从* nix框收集到Logstash并通过Elasticsearch发送给Kibana。这是一个典型的场景。在ELK中合并日志和查询

我的syslog日志包括正常的系统事件,鱿鱼访问日志,captiveportal登录日志等 captiveportal记录为

1423548430 2582 192.168.1.23 xx:ae:xx:e1:xx:99 mike.brown cc9aeb1210b39571 MTI= first 

鱿鱼访问日志记录为:

1423562965.228 482 192.168.1.23 TCP_MISS/200 1254 POST http://ad4.liverail.com/? - DIRECT/31.13.93.12 text/xml 

在Logstash中,我过滤了强制性的门户日志,并且我得到了client_ip="192.168.1.23",user_name="mike.brown",在Logstash配置过滤器我也过滤了鱿鱼访问日志,并且我得到了src_ip="192.168.1.23"

我的问题是:我该如何查询以获取user_name,其中squid访问日志的client_ip等于Kibana中强制门户的src_ip?

你不能在elasticsearch中进行连接。他们讨论关系in this doc的一些选项。

+0

elasticsearch的这个弱点是什么?我认为是这样,奇怪的是你有数据,但你不能查询它。谢谢。 – hakansel05 2015-02-11 08:08:56

+0

我认为它是一个文档存储,而不是数据库。你是否因为不能烘烤面包而自责? – 2015-02-11 18:03:43

+0

你能否再扩展一下答案?它对我很重要(http://*.com/questions/33549171/correlate-messages-in-elk-by-field) – AMS 2015-11-06 15:04:27