java完善的日志记录系统

日志架构

java日志→Filebeat→Logstash→Elasticsearch→Kibana or Grafana

java完善的日志记录系统

Filebeat

用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装,Filebeat监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或
Logstash进行索引。

Filebeat的工作方式如下:启动Filebeat时,它将启动一个或多个输入,这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志,Filebeat都会启动收集器。每个收割机都读取单个日志以获取新内容,并将新日志数据发送到libbeat,libbeat将聚集事件,并将聚集的数据发送到为Filebeat配置的输出。

java完善的日志记录系统

Filebeat需要对输出做负载均衡!
Filebeat提供的配置选项可用于在将事件发送到多个主机时微调负载平衡。

  • Q: 如果Filebeat重启,并且日志增加了,是否可以对日志无缝衔接?
  • A: 可以,Filebeat会将offset记录到registry file里面。registry file