与kafka连接的多个配置单元分区

问题描述：

我一直在尝试使用kafka连接将数据流数据转换为HDFS，并在配置过程中与配置单元集成。与kafka连接的多个配置单元分区

我的用例要求我使用“FieldPartioner”作为分区类。

我的问题是，我无法获得多个分区。

例子：

我的例子JSON

{ 
    "_id": "582d666ff6e02edad83cae28", 
    "index": "ENAUT", 
    "mydate": "03-01-2016", 
    "hour": 120000, 
    "balance": "$2,705.80" 
}

我想有 '指明MyDate' 和 '小时'

的基础上，分区我尝试以下

name=hdfs-sink 
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector 
tasks.max=1 
topics=fieldPartition_test_hdfs 
hdfs.url=hdfs://quickstart.cloudera:8020 
flush.size=3 

partitioner.class=io.confluent.connect.hdfs.partitioner.FieldPartitioner 
partition.field.name={mydate,hour} 

locale=en 
timezone=GMT 

hive.database=weblogs 
hive.integration=true 
hive.metastore.uris=thrift://quickstart.cloudera:9083 
schema.compatibility=BACKWARD

也试过指定partition.field.name为

partition.field.name={'mydate','hour'}

和

partition.field.name=mydate,hour

，还有更多这样的组合

在这个问题上的任何帮助，将不胜感激

感谢。

答

我尽可能地尝试了这种方式，随后开始深入研究源代码。

FieldPartitoner的代码是here！

而最后提交到这里的文件，显示“恢复‘支持多分区字段’3个月前”

请不要让我知道，如果你们有任何其他解决方案。

与kafka连接的多个配置单元分区

相关推荐