如何搭建Flume日志收集框架

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

具体可以参考官网  http://flume.apache.org/

 

现在如何搭建flume框架 

1 准备flume对应安装包从官网下载 http://flume.apache.org/ 

2 修改配置文件 在 /opt/sxt/conf/ 文件下  flume-env.sh 添加环境变量 同样配置/etc/profile下的环境变量

3 source /etc/profile 生效 用 flume-ng version 命令查看 是否配置成功

出现如上 配置成功

同时创建mkdirflume文件  启动 agent  配置文件 

flume-ng agent --conf-file option --name a1 -Dflume.root.logger=INFO,console 启动命令

访问node02节点 flume 接受日志如下