阿帕奇卡夫卡消费者花费很长时间

Question

Consumer-transformationProducer-transformation

目的： 转移表（120个表）从Oracle数据库Vertica的数据库。

目前的做法： 使用Pentaho的工具来提取从Oracle数据库数据，并存储为文件并重新加载它们到Vertica的数据库。

问题： 整个过程运行很长时间。 将其存储为文件占用更多空间并降低性能。

新方法： 使用Kafka作为消息系统及其在pentaho中的插件。

问题面临： 消费者插件花费的时间量庞大用于消耗消息并装载到Vertica的表（采取加载消息到生产者6倍的时间）。 1架Avro格式 2. 200列

样品2万条记录，我们想听听建议，以改善这个性能或暗示任何其他方式来满足使用卡夫卡的目标。

Answer 1

This document建议使用Vertica Bulk Loader步骤，直接在Oracle Table input之后。