如何通过Spark流和Apache水槽将Kafka主题加载到HDFS

Question

我正在学习Kafka阶段。 使用cloudera env。

我对卡夫卡创建一个话题：

/opt/bitnami/kafka/bin/kafka-topics.sh --create --zookeeper 35.195.113.105:2181 --replication-factor 1 --partitions 1 --topic airports 

监制：

/opt/bitnami/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic airports </home/bitnami/airports.csv 

我需要使用的Spark流和水槽复制在HDFS这个主题。

关于如何做到这一点的任何想法或建议。

问候， SAURABH

Answer 1

阅读本文档第一http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html。你会得到如何在kafka comsumer消息。然后在foreachRDD函数中添加HDFS客户端代码，将消息写入HDFS。