您的位置: 首页  >  文章  >  Linux 环境 离线 ELK Stack搭建分布式日志系统搭建宝典

Linux 环境 离线 ELK Stack搭建分布式日志系统搭建宝典

分类: 文章 • 2025-01-07 16:55:10

文章目录

使用模块功能简介

Filebeat+Logstash +Kibana+Elasticsearch+Kafka

  • Filebeat轻量型日志采集器。Filebeat 内置有多种模块（auditd、Apache、NGINX、System、MySQL 等等），可针对常见格式的日志大大简化收集、解析和可视化过程，只需一条命令即可。之所以能实现这一点，是因为它将自动默认路径（因操作系统而异）与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此，数个 Filebeat 模块还包括预配置的 Machine Learning 任务。
  • Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据
  • Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。
  • ElasticSearchElasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。
  • Kibana 通过 Kibana，您可以对自己的 Elasticsearch 进行可视化，还可以在 Elastic Stack 中进行导航，这样您便可以进行各种操作了，从跟踪查询负载，到理解请求如何流经您的整个应用，都能轻松完成。

在实际应用场景下，为了满足大数据实时检索的场景，利用Filebeat去监控日志文件，将Kafka作为Filebeat的输出端，Kafka实时接收到Filebeat后以Logstash作为输出端输出，到Logstash的数据也许还不是我们想要的格式化或者特定业务的数据，这时可以通过Logstash的一些过了插件对数据进行过滤最后达到想要的数据格式以ElasticSearch作为输出端输出，数据到ElasticSearch就可以进行丰富的分布式检索了。

Linux 环境 离线 ELK Stack搭建分布式日志系统搭建宝典

ELK系统可以根据实际需要来选择搭建,暂时先介绍最简单的Filebeat+ElasticSearch+Kibana组成的系统,不考虑ElasticSearch 和Kibana的负载

安装包下载

Apache 官网下载地址

  • Kafka 使用版本 kafka_2.12-2.3.0.tgz

Elastic 官网下载地址

资源的下载速度不太给力,安装包可以从这下载
链接：https://pan.baidu.com/s/1nLICdPr4G_-BvsNH2Yf4mg
提取码：pg61

Linux 环境 离线 ELK7.4.0之Kibana搭建

https://blog.****.net/tian_111222333/article/details/102920699

Linux 环境 离线 ELK7.4.0之Filebeat服务安装(直连ElasticSearch)

https://blog.****.net/tian_111222333/article/details/102920814

相关推荐