Flume的基础技术理论
一、flume介绍
1、Flume 最早是Cludera提供的日志收集系统，后贡献给Apache;
2、Flume 是一个分布式的海量日志采集，聚合，转移工具;
3、Flume的开发语言为java;
4、Flume的工作流程：source不断的接收数据，将数据封装成一个一个的event，然后将event发送给channel，chanel作为一个缓冲区会临时存放这些event数据，随后sink会将channel中的event数据发送到指定的地方—-例如HDFS等；
二、Flume的数据流模型
1、event事件
(1)event将传输的数据进行封装，是flume传输数据的基本单位,如果是文本文件，通常是一行记录，event也是事务的基本单位;
(2)event从source，流向channel，再到sink，本身为一个字节数组，并可携带headers(头信息)信息;
(3)event代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去;
(4)一个完整的event包括：event headers、event body、event信息(即文本文件中的单行记录)，如下所示：
2、Source
source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义；
3、Channel
用于桥接Sources和Sinks，类似于一个队列。source组件把数据收集来以后，临时存放在channel中，即channel组件在agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在memory、jdbc、file等等；
4、Sink
从Channel 中读取并移除event，把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义;
5、agent
(1)flume运行的核心就是agent，agent本身是一个Java进程。
(2)agent 里面包含3个核心的组件：source—->channel—–>sink,类似生产者、仓库、消费者的架构;
三、Flume的特性
1、可靠性、安全性
只有在sink将channel中的数据成功发送出去之后，channel才会将临时event数据进行删除，这种机制保证了数据传输的可靠性与安全性。
2、可恢复性
通道可以以内存或文件的方式实现，内存更快，但不可恢复。文件较慢但提供了可恢复性。