查询卡桑德拉并按顺序消费卡夫卡

Question

我是新来的火花，不知道如何实现这一点。 关于如何从同一个Spark任务查询Cassandra和消费者Kafka流的任何想法。基本上，

1. 我想查询cassandra并获得一些信息，当工作开始。

2. 然后，继续并使用卡夫卡。使用我从cassandra获得的信息来转换来自kafka的数据。 那么，如何确保这两个事件的顺序。

Answer 1

你可以用spark-cassandra-connector来做到这一点。那就是你将连接和查询cassandra的代码与发送数据给kafka的代码结合起来。 你可以找到用于阅读和写入cassandra here的Java工具。要将您的数据发送到kafka，请查看this code的sendToKafka方法。