应该怎样正确配置filebeat文件（包括multiline、input_type等）
elk是大数据信息采集、处理的最流行技术，而其中filebeat又是elk最为基础的日志采集工具。配置得好我们能非常高效地采集日志，配置得不好却会出现日志丢失、日志采集占用生产机资源高的现象。本文根据自己的配置经验，进行filebeat配置常用字段配置的阐述。
input_type:输入filebeat的类型，包括log(具体路径的日志)和stdin(键盘输入)两种。
multiline：日志中经常会出现多行日志在逻辑上属于同一条日志的情况，所以需要multiline参数来详细阐述。
multiline.pattern：正则表达式，由大数据工程师进行逻辑设置，比如：用空格开头，值为^[[:space:]]；用C。正则表达式是非常复杂的，详细见filebeat的正则表达式官方链接：https://www.elastic.co/guide/en/beats/filebeat/current/regexp-support.html
multiline.negate：该参数意思是是否否定多行融入。这个参数比较复杂费解（我也不明白为啥elk会搞个这么复杂的负逻辑，没有人反馈过么），详细情况请见下面横图分析。
multiline.match：取值为after或before。该值与上面的pattern与negate值配合使用，详见下图：
在上图中，pattern=^b，意思是以b开头。negate有false和true两种取值，match也有after和before两种取值。下面详述：
negate参数为false，表示“否定参数=false”。multiline多行参数负负得正，表示符合pattern、match条件的行会融入多行之中、成为一条完整日志的中间部分。如果match=after，则以b开头的和前面一行将合并成一条完整日志；如果match=before，则以b开头的和后面一行将合并成一条完整日志。
negate参数为true，表示“否定参数=true”。multiline多行参数为负，表示符合match条件的行是多行的开头，是一条完整日志的开始或结尾。如果match=after，则以b开头的行是一条完整日志的开始，它和后面多个不以b开头的行组成一条完整日志；如果match=before，则以b开头的行是一条完整日志的结束，和前面多个不以b开头的合并成一条完整日志。
上面几个参数是multiline的最常见配置参数。还有其他一些参数，比如：
flush_pattern表示符合该正则表达式的，将从内存刷入硬盘。
max_lines表示如果多行信息的行数炒过该数字，则多余的都会被丢弃。默认值为500行
timeout表示超时时间，如果炒过timeout还没有新的一行日志产生，则自动结束当前的多行、形成一条日志发出去。
最后，给出两个个实际的filebeat范例（分别对应multiline.negate=false/true两种情况）：
- input_type: log
#4
paths:
-/data/logs/test.log
encoding: utf-8
fields:
appsystem: test
multiline.pattern:'^[[:space:]]+'
multiline.negate: false
multiline.match: after
ignore_older: 24h
上面表示，如果不以空格开头，则这一行是一条日志的开头行，它与接下来有1或多个空格开头的各行、构成一条完整日志。
再看下一条，对应的是标准的Oracle数据库日志的filebeat配置：
- input_type: log
paths:
- /oracle/test.log
encoding: gbk
fields:
appsystem: oracle
logTypeName: oracle_log_filebeat
appprogramname: 9999
multiline.pattern: '^Mon|Tue|Web|Thu|Fri|Sat|Sun [[:space:]] Jan|Feb|Mar|Apr|May|Jun|Jul|Aug|Sep|Oct|Nov|Dec'
multiline.negate: true
multiline.match: after
ignore_older: 24h
#include_lines: ['apache']
#exclude_lines: ['^DBG']
上面表示，如果以“星期简称+空格+月份简称”开头的，则这一行是一条日志的开头行，它与接下来不以“星期简称+空格+月份简称”的各行、构成一条完整日志。
欢迎评论留言、私信交流大数据。