读取Producer中的数据流并推送到Kafka主题

Question

我想从服务器读取数据在Producer中监听数据流并发送到主题。 数据来源是客户端流式RPC客户端使用提供的流写入一系列消息并将它们发送到服务器。我发现example其中Producer连接到Twitter客户端并读取数据。但是，我的目标是尽快读取数据，在服务器上监听Producer中的流并发送到Kafka主题。

是否有任何类似的例子或任何人遇到过这种情况？

任何帮助将不胜感激。

Answer 1

这将有助于了解您正在使用的流式RPC机制的具体情况，但作为第一个端口，我期望看到akka-stream-kafka（又名reactive-kafka），因为它专为流式传输方案： http://doc.akka.io/docs/akka-stream-kafka/current/producer.html

查看那里的示例。另外，alpakka是基于akka流的集成模式的一项举措，但支持的连接器列表到目前为止有限： http://developer.lightbend.com/docs/alpakka/current/