CDH-Kafka-SparkStreaming 异常：org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/uti

参考文章：

flume kafka sparkstreaming整合后集群报错org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/ut

https://blog.csdn.net/u010936936/article/details/77247075?locationNum=2&fps=1

 

   最近在使用CDH 环境 提交 Kafka-Spark Streaming 作业的时候遇到了一些问题，特此记录如下：

主要的报错信息为：
 

Exception in thread "streaming-start" java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;

 

Exception in thread "streaming-start" java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;

 

并且在报错之前，可以看到 kafka-client 为 0.9.0 版本

 

18/11/01 16:48:04 INFO AppInfoParser: Kafka version : 0.9.0.0
18/11/01 16:48:04 INFO AppInfoParser: Kafka commitId : cb8625948210849f
 

但是，我们查看打的包高于此版本。

 

原因分析
      其实这个在官方文档中有介绍。地址如下：
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_kafka.html#running_jobs
       简单说，就是kafka集成spark2，需要在CDH中进行设置。官网介绍了2中方法。这里我采用了第二种，在CDH中进行修改配置的方法。

步骤如下：

1.进入CDH的spark2配置界面，在搜索框中输入SPARK_KAFKA_VERSION，出现如下图，

2.然后选择对应版本，这里我应该选择的是None，

    即 ： 选用集群上传的Kafka-client 版本 ！！

3.然后保存配置，重启生效。

4.重新跑sparkstreaming任务，问题解决。