flume部署

先来了解一下flume

flume

 

(日志收集系统)

 编辑
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

接下来开始下载  Flume版本: apache-flume-1.8.0-bin.tar.gz

1 首先解压缩我们下载的flume到opt下

flume部署

2 进入到opt目录下我们解压好的flume文件中的conf里创建一个文件叫做a1.conf,然后进入这个文件输入内容

3.定义sinks,channels,sources


flume部署


4 启动agent 复制这串代码  ./bin/flume-ng agent -c conf -f conf/a1.conf -n a1 -Dflume.root.logger=INFO,console然后回车

5 之后启动一个新的窗口输入telnet 主机名 44444 就可以连接上 这样你输入的内容在另一个页面就可以接收到

flume部署

6 刚才是监控网络 下面是监控文件的操作

   首先在新的窗口创建一个测试目录a1.test


flume部署

之后修改我们刚才的a1.conf文件

flume部署

然后重新启动我们的agent 还是刚才那个变态长的命令。

然后我们往我们新建的测试目录中随意添加一些内容 

flume部署

由于我们刚才监控了这个文件 所以当这个文件添加了内容后 就会被收走

flume部署

7 最后学习监控目录

首先我们先创建一个目录用于测试

依旧修改我们的a1.conf文件

flume部署

之后启动

然后我们将刚才创建的a1.test文件放在a1_test目录中 我们就可以收集到a1.text里面的整体内容

flume部署flume部署