Flume的基本介绍
Flume的基本介绍
前言
在一个完整的离线大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架,如图所示:
1.1 Flume介绍
1.1.1 概述
- Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
- Flume可以采集文件,socket数据包、文件、文件夹、kafka等各种形式源数据,又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。
- 一般的采集需求,通过对flume的简单配置即可实现。
- Flume针对特殊场景也具备良好的自定义扩展能力,
因此,flume可以适用于大部分的日常数据采集场景。
宏观角度来看类似生活中的扫码枪、吸尘器吸头。
总结 :
- flume:负责数据的收集,采集传输,并将数据存储在大数据生态系统。
- 数据采集:文件、文件夹、数据包,kafka.
- 数据存储:HDFS,hbase, hive, kafka
- XXX收集,采集,传输
- 例如:扫码枪,打卡机,收割机,吸尘器