Flume企业案例 负载均衡和故障转移

1、案例需求
使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用 FailoverSinkProcessor，实现故障转移的功能。

2、需求分析

3、实现步骤 0.准备工作
FailoverSinkProcessor
在/opt/module/flume/job 目录下创建 group2 文件夹

创建 flume-netcat-flume.conf

配置 1 个 netcat source 和 1 个 channel、1 个 sink group(2 个 sink)，分别输送给 flume-flume-console1 和 flume-flume-console2。

编辑配置文件

添加如下内容


2.创建 flume-flume-console1.conf
配置上级 Flume 输出的 Source，输出是到本地控制台。
编辑配置文件

添加如下内容

3.创建 flume-flume-console2.conf
配置上级 Flume 输出的 Source，输出是到本地控制台。
编辑配置文件

添加如下内容

4.执行配置文件
分别开启对应配置文件:flume-flume-console2，flume-flume-console1，flume-netcat- flume。

5.使用 netcat 工具向本机的 44444 端口发送内容

6.查看 Flume2 及 Flume3 的控制台打印日志
7.将 Flume2 kill，观察 Flume3 的控制台打印情况。 注:使用 jps -ml 查看 Flume 进程。