spark异常汇总(持续更新中~~)
目录
1 idea运行spark javaApi 异常
问题点:
idea不识别spark泛型,报异常但是能正常运行(maven clean)
问题再现:
入下图
incompatible types.required JavaRDD<String> but 'flatMap' was inferred to JavaRDD<U>:Incompatible equality constraint:String and T
解决方案:
当前环境spark2.2 hadoop 2.7.5 scala 2.11.12
把spark2.2版本升级到2.4版本后泛型报错消失(可能是spark2.2bug 升级后修复)