火花提交抱怨斯卡拉 - 2.10罐子不存在

问题描述:

我新的火花和阿帕奇(火花2.1.0彬hadoop2.7)下载预编译的二进制文件星火火花提交抱怨斯卡拉 - 2.10罐子不存在

当提交我的斯卡拉(2.11.8)尤伯杯罐子集群抛错:使用Scala 2.10

java.lang.IllegalStateException: Library directory '/root/spark/assembly/target/scala-2.10/jars' does not exist; make sure Spark is built 

我没有运行的Scala 2.10和星火未编译(就像我知道的)

难道我的依赖之一是基于Scala 2.10吗?
有什么建议可能是错的?

+0

你能分享你正在打包在尤伯杯罐子依赖的名单? – himanshuIIITian

+0

@himanshuIIITian '“org.scalatest”%%“scalatest”%“3.0.1”, “org.scalaj”%%“scalaj-http”%“2.3.0”, “org.apache.spark” %%“spark-core”%“2.2.0”%“provided”, “org.apache.spark”%%“spark-sql”%“2.2.0”%“provided”, “org.apache。 spark“%%”spark-yarn“%”2.2.0“, ”org.apache.hadoop“%”hadoop-client“%”2.8.1“, ”org.apache.hadoop“%”hadoop-yarn -client“%”2.8.1“, ”org.apache.hive“%”hive-jdbc“%”2.3.0“' –

注意确定预构建的spark-2.1.0有什么问题,但是我刚刚下载了spark 2.2.0,它工作得很好。

尝试的系统或IDE上设置SPARK_HOME =“位置到火花安装”