星火和Java:错误ClassCastException异常

问题描述:

我下面正是这个例子 https://github.com/rathboma/hadoop-framework-examples/tree/master/spark 当我尝试运行,我得到这个消息:星火和Java:错误ClassCastException异常

java.lang.ClassCastException: org.apache.spark.api.java.Optional cannot be cast to com.google.common.base.Optional 

我不我怎样才能解决这个问题,因为我用我的新手火花。 谢谢! 有什么建议吗?

+0

看起来像您导入了错误的可选类 –

这是因为您使用Spark 1.x来编译代码,但在Spark 2.x群集中运行您的应用程序。您可以更新pom.xml以使用Spark群集的相同版本,并且可能还需要更新代码,因为2.x和1.x不兼容。

+1

您如何知道群集版本? –

+0

我已经使用此文件spark-2.1.1-bin-without-hadoop.tgz安装了Spark 2.1.1,然后,我已将Spark与Hadoop安装连接,并在/ usr/local/spark中设置spark-env.sh文件/ conf(我遵循这个:https://spark.apache.org/docs/latest/hadoop-provided.html)。 我可以在pom.xml中更改这部分吗? org.apache.spark火花core_2.10 2.1.1它可能是工作? – majitux

+1

@ cricket_007打印'SparkContext.version' – zsxwing