大数据之Flume技术 （3）Flume的一些应用拓补结构

Flume拓扑结构

一、简单串联

 该结构为Flume与Flume之间通过sink和source进行简单得串联，但该结构模式不建议桥接过多的Flume数量， Flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机或者故障，会影响整个传输系统。

二、复制和多路复用

 这里得复制和多路复用通过设置ChannelSelector可以实现，分别是Replicating（复制）和Multiplexing（多路复用）。

三、负载均衡和故障转移

 Flume支持使用将多个sink，在逻辑上分到一个sink组，sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。

四、聚合

 这种模式是比较常见的，也很实用，日常web应用通常分布在上百个服务器，大者甚至上千个、上万个服务器。产生的日志，处理起来也非常麻烦。用Flume的这种组合方式能很好的解决这一问题，每台服务器部署一个Flume采集日志，传送到一个集中收集日志的Flume，再由此Flume上传到HDFS、Hive、Hbase等，进行日志分析。