使用Spark Shell将行插入到Kudu时出错

问题描述:

我是Apache Kudu的新手,我将它安装在我的Ubuntu系统上,后来使用Apache Spark shell在其中创建了一个表。现在,我想插入使用insertRows数据转换成表()为我使用的,但下面给出命令,使用Spark Shell将行插入到Kudu时出错

kuduContext.insertRows(customersDF, "spark_kudu_tbl") 

凡customersDF是数据帧和spark_kudu_tbl是在捻数据库的表。我收到以下错误,

java.lang.NoSuchMethodError: org.apache.kudu.spark.kudu.KuduContext.insertRows(Lorg/apache/spark/sql/Dataset;Ljava/lang/String;)V 

... 70省略掉

我已经尝试了不同的选择,但没有一个是我给的结果。任何人都可以为我的问题提供任何解决方案。

+0

也许http://community.cloudera.com将是一个更好的地方,从捻获取有关捻答案(即直接的答案提交者) –

从错误信息看起来好像你使用了错误的kudu-spark神器,你应该使用kudu-spark2_2。请开始你的火花外壳如下(与你的捻版本替换最后一位)

spark-shell --packages org.apache.kudu:kudu-spark2_2.11:1.3.0