logstash简介,下载和安装
1.简介:
集中、转换和存储数据
Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。
2.处理流程
input---> fileter ---> output
input:-(可从file,redis,beats,kafka等拿数据)
filter:-(包含Grok,Date,Mutate,Drop等步骤)
output:-(stdout,标准输出)
3.input、output配置
eg:
input {file {path = > "/tmp/aaa.log"}}---指定输入类型为文件,路径为tmp下的aaa.log
output { stdout {codec = > rubydebug}}---标准输出,编码为rubydebug
4.filter
(1)Grok:基于正则提供了丰富的可重用模式(语法),可将非结构化数据转化为结构化数据(JSON)
(2)Date:将字符串类型的时间字段转化为时间戳类型
(3)Mutate: 对结构化后的数据进行增删改查操作,
5.下载安装
(1)下载地址:https://www.elastic.co/cn/downloads/logstash
(2)安装步骤:解压,准备配置文件,执行命令