在用maven项目写spark程序的时候出现的错误
Exception in thread “main” java.lang.NoSuchMethodError: scala.Product.(Lscala/Product;)V
出现这一问题,从网上找到了很多的信息,主要是在讲说,在project Structure 的 Global Libraries的有添加Scala SDK 并且在Maven的pom.xml中也有写了scala的依赖。
但我在pom.xml中并没有写scala的依赖,只写了spark的依赖。
所以苦苦挣扎了一天,最后发现在Maven中,自动导入了scala包。
删除这些jar包之后,再运行,发现这些包又出现了,所以以此可以判断出,在Spark-core的依赖中,加入了scala-2.12.8的依赖包,而电脑本身的的scala 是2.13版本,所以出现问题。
解决方案:
上述解释了出现这一问题的原理,下面说明解决问题的方案
为了方便,我将我自身的scala版本换成与spark-2.4.4一样的sdk即可,及自身电脑scala换成2.12.8版本