Flume spoolDirSource 无法加header怎么办
自带的spoolDirSource不像avroSource一样可以加文件头,所以我们需要自定义
步骤:
1.在项目目录下的Maven dependencies下找
下面选中的的:
2.自己新建一个MySpoolDirectorySource的java class,将上面那个SpoolDirectorySource.class中的所有代码自己复制过去,改一下类名就行。
3.找到run方法,在下面写逻辑:
4 .导出jar包,整个项目导出来。
5.修改linux上flume的配置文件,用自己的这个Source,
修改前:
修改后:
获取函数全路径:右键函数名->copy qualified name
6.结束,启动flume