为什么使用Spark GraphX的sbt update会导致“Cross-version suffixes冲突”?
问题描述:
这是我为SBT与斯卡拉火花上的IntelliJ为什么使用Spark GraphX的sbt update会导致“Cross-version suffixes冲突”?
version := "0.1"
scalaVersion := "2.11.11"
// https://mvnrepository.com/artifact/org.apache.spark/spark-graphx_2.10
libraryDependencies += "org.apache.spark" % "spark-graphx_2.10" % "2.1.0"
// https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.1.0"
// https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.0"
我收到以下错误
[error] (*:update) Conflicting cross-version suffixes in:org.apache.spark:spark-launcher, org.json4s:json4s-ast, org.apache.spark:spark-network-shuffle, org.scalatest:scalatest, com.twitter:chill, org.json4s:json4s-jackson, com.fasterxml.jackson.module:jackson-module-scala, org.json4s:json4s-core,org.apache.spark:spark-unsafe, org.apache.spark:spark-tags, org.apache.spark:spark-core, org.apache.spark:spark-network-common
[error] (*:ssExtractDependencies) Conflicting cross-version suffixes in: org.apache.spark:spark-launcher, org.json4s:json4s-ast, org.apache.spark:spark-network-shuffle, org.scalatest:scalatest, com.twitter:chill, org.json4s:json4s-jackson, com.fasterxml.jackson.module:jackson-module-scala, org.json4s:json4s-core, org.apache.spark:spark-unsafe, org.apache.spark:spark-tags, org.apache.spark:spark-core, org.apache.spark:spark-network-common
任何人都可以让我知道如何纠正这一点。对我来说,它看起来像spark-graphx与spark_core相矛盾。我如何找到正确的SBT文件?或者我应该怎么做才能让这个sbt文件起作用。我可以降低graphx的版本以及spark,但宁愿降低spark的版本。
答
在你的sbt文件中,依赖关系被称为spark-_。您在graphX依赖项中使用不同的scala版本。
如果您使用Spark 2.x,我建议使用scala 2.11,因此您只需更改graphx依赖关系。
libraryDependencies += "org.apache.spark" % "spark-graphx_2.11" % "2.1.0"
无论如何,你不需要在每个依赖项中编写scala版本。如果您编写两个百分比符号%%,Sbt将根据scalaVersion值推断。 Here,你可以看到一个例子。
嗨,这是整齐。 但是当我查看https://mvnrepository.com/artifact/org.apache.spark/spark-graphx_2.10/2.2.0时,我能找到的最大graphx为2.10。这是为什么? –
最好看看maven central。这是官方的存储库。 http://search.maven.org/#search%7Cga%7C1%7Cgraphx – gasparms
我曾经谷歌和采取第一个为sbt。我明白我的错误。 Thnaks @gasparms –