Streamsets应用--Kafka2ES
一、场景
将指定kafka的一个topic的数据实时入库到elasticsearch中。
二、环境
kafka:0.10.2
elasticsearch:5.6.1
三、应用
3.1、概述
Origins:Kafka Consumer
Destiations:ElasticSearch
3.2、注意事项
1、若只读取一个topic的数据,origins使用Kafka Consumer;若要同时读取多个topic,则使用Kafka Multitopic。
2、kafka若要实现读取历史数据,要添加auto.offset.reset=earliest
3.3、流程
3.3.1、Origins配置
(1)选择源
Origins选择Kafka Consumer
(2)配置
General
Kafka
Data Format
3.3.2、Destiations配置
(1)选择目的
Destiations选择ElasticSearch
(2)配置
General
ElasticSearch
3.3.3、Pipeline
(1)
(2)
General
Error Records