logstash简介,下载和安装

1.简介:

集中、转换和存储数据

Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。

 

2.处理流程

input---> fileter ---> output

input:-(可从file,redis,beats,kafka等拿数据)

filter:-(包含Grok,Date,Mutate,Drop等步骤)

output:-(stdout,标准输出)

3.input、output配置

eg:

input {file {path = > "/tmp/aaa.log"}}---指定输入类型为文件,路径为tmp下的aaa.log

output { stdout {codec = > rubydebug}}---标准输出,编码为rubydebug

4.filter

(1)Grok:基于正则提供了丰富的可重用模式(语法),可将非结构化数据转化为结构化数据(JSON)

(2)Date:将字符串类型的时间字段转化为时间戳类型

(3)Mutate: 对结构化后的数据进行增删改查操作,

5.下载安装

(1)下载地址:https://www.elastic.co/cn/downloads/logstash

(2)安装步骤:解压,准备配置文件,执行命令

logstash简介,下载和安装