分布式环境下的日志处理架构(ELK)
分布式环境下的日志处理架构(ELK)
一、整体架构设计
- filebeat: 负责日志采集,采集的日志包括服务日志、中间件日志等
- kafka:负责数据缓存
- logstash: 消费kafka的日志,经过过滤后存储到elasticsearch
- elasticsearch: 负责日志存储
- kibana: 负责日志展示
二. 此架构使用的软件及版本如下:
(1) filebeat-6.3.1-linux-x86_64.tar.gz
(2)kafka_2.12-2.0.0.tar
(3)logstash-6.3.1.zip
(4)elasticsearch-6.3.1.zip
(5)kibana-6.3.1-linux-x86_64.tar
以上软件可以到elasticsearch官网下载需要的软件:
https://www.elastic.co/cn/products
三、各组件安装配置
各组件的安装配置见我其他博文
filebeat安装
kafka安装
logstash安装
logstash配置
elasticsearch安装安装
kibana安装