Flume笔记
Flume 笔记
Flume是一个高可用的分布式的海量日志采集、聚合和传输的系统。
总体架构图
flume的核心是把数据从数据源source收集过来，在将收集到的数据送到指定目的地（sink）。为了保证传输过程中不丢失数据，在送到目的地之前，会先缓存在通道中（channel），待数据发送到sink之，flume从通道中删除数据。
source不断的接收数据，将数据封装成一个一个event，然后将event发送给channel，sink会将channel中的event数据发送到指定的地方。
核心
event事件
数据从source采集，流向channel，最终流向sink的整个过程称之为一次事件。
event将传输数据进行封装，是flume传输数据的基本单位。
agent 进程
flume运行的核心就是agent，agent本身是一个java进程。
agent内部包含三个核心组件（source、channel、sink）
source
source组件是专门用来收集数据的。
channel
channel组件是专门用来存放临时数据的。
sink
sink组件是用于把数据发送到目的地的组件
特性
可靠性
事务型的数据传递，保证数据的可靠性
可恢复性
通道可以以内存或文件的方式实现，内存更快但不可恢复，文件较慢但提供了可恢复性。
source
| 类型 | 说明 |
|---|---|
| avro | 用于接收由flume发送的消息 |
| exec | 用于执行shell命令后，将命令结果发送到flume |
| spooling Directory | 用于监听目录变化，读取变化目录名称信息 |
| netcat | 用于监听某个端口，将接口接收到的数据发送给flume |
| sequence generator source | 自生成序号，将需要发送给flume |
| http | 用于监听http请求，将请求内容接收到数据发送给flume |
sink
| 类型 | 说明 |
|---|---|
| logger sink | 日志控制台输出 |
| File Roll Sink | 文件输出 |
| hdfs sink | hdfs输出 |
channel
| 类型 | 说明 |
|---|---|
| memory | 内存通道 |
| jdbc | 数据库通道 |
| file | 文件通道 |
| 内存溢出通道（正式环境不建议使用） |
selector路由
source+selector可以实现根据event中不同的值，将event向不同的channel分发。
interceptors拦截器
flume在运行阶段可以通过interceptors对event进行修改和删除。
可以定义多个拦截器，多个拦截器之间按定义顺序执行
| 类型 | 说明 |
|---|---|
| timestamp interceptors | 时间戳拦截器，会在event的header中添加时间戳数据 |
| host interceptors | 主机名或ip拦截器，会在event的header中添加主机名或主机ip |
| static interceptors | 静态值拦截器，会在event的header中添加自定义数据 |
| UUID interceptors | uuid拦截器，会在event的header中添加uuid |
| search and replace interceptors | 查找与替换拦截器，会替换event的信息内容 |
| regex filtering interceptors | 正则过滤拦截器，满足的放过，不满足的丢弃 |
| regex Extractor interceptors | 将正则匹配分组结果添加到header中，次拦截器可以将event内部的内容提取到event外部的header中 |
process
flume允许将多个sink进行分组，组内按照process的设定控制数据的分发策略。
| 类型 | 说明 |
|---|---|
| failover sink process | 向优先级最高的sink发送event，其他的不发送，需要提前设定sink的优先级 |
| load balancing sink process | 以轮循或随机的方式实现负载均衡式的event分发 |